JPH05314243A - Three-dimensional shape restoring method - Google Patents
Three-dimensional shape restoring methodInfo
- Publication number
- JPH05314243A JPH05314243A JP4110842A JP11084292A JPH05314243A JP H05314243 A JPH05314243 A JP H05314243A JP 4110842 A JP4110842 A JP 4110842A JP 11084292 A JP11084292 A JP 11084292A JP H05314243 A JPH05314243 A JP H05314243A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- parallax
- photographed
- amount
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、例えばテレビカメラを
用いて所定の物体を異なる位置で撮影し、そのとき得ら
れる画像から、その物体の３次元画像を得る場合に用い
て好適な３次元形状復元方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional image suitable for obtaining a three-dimensional image of an object from an image obtained by photographing a predetermined object at different positions with a television camera, for example. The present invention relates to a shape restoration method.
【０００２】[0002]
【従来の技術】所定の物体を異なる位置で撮影し、その
とき得られる画像を処理して、その物体の３次元形状を
復元する場合、従来においては、例えば図９に示すよう
に撮影を行なうようにしていた。即ち、位置Ａにおいて
物体を撮影し、位置Ａから所定の平面内を移動し、所定
距離移動した位置Ｂにおいて物体の撮影を行なう。この
とき、物体を撮影するテレビカメラのレンズの光軸は、
移動する面と垂直になっている。各位置において物体の
像は位置ＡおよびＢから、それぞれレンズの焦点距離ｆ
だけ離間した投影面上に投影されることになる。そし
て、位置ＡとＢにおいて得た２つの画像から物体の３次
元形状を復元する。静止物体の２枚の画像により物体の
３次元形状を復元する方法としては、ステレオマッチン
グがよく使われるのであるが、このステレオマッチング
は、２枚の画像の対応点の位置ずれ（視差）から三角測
量の原理に基づいて物体の形状を復元するものである。2. Description of the Related Art When a predetermined object is photographed at different positions and an image obtained at that time is processed to restore the three-dimensional shape of the object, conventionally, for example, photographing is performed as shown in FIG. I was doing. That is, the object is photographed at the position A, the object moves in a predetermined plane from the position A, and the object is photographed at the position B moved by a predetermined distance. At this time, the optical axis of the lens of the TV camera that shoots the object is
It is perpendicular to the plane to move. At each position, the image of the object is taken from the positions A and B, respectively, and the focal length f of the lens is
It will be projected on the projection surface spaced apart by only. Then, the three-dimensional shape of the object is restored from the two images obtained at the positions A and B. Stereo matching is often used as a method of reconstructing the three-dimensional shape of an object from two images of a stationary object. This stereo matching is triangulated from the positional shift (parallax) between corresponding points of the two images. The shape of an object is restored based on the principle of surveying.
【０００３】[0003]
【発明が解決しようとする課題】このように従来の方法
は、レンズの光軸を移動面に対して垂直に保持するよう
にしているため、正確な３次元形状を復元することが困
難である課題があった。即ち、カメラの光軸を移動面に
対して常に垂直に保持しておくと、移動量が大きくなっ
た場合、物体がレンズの視野から外れてしまい、データ
を得ることができなくなってしまうのである。As described above, according to the conventional method, since the optical axis of the lens is held perpendicular to the moving surface, it is difficult to restore an accurate three-dimensional shape. There were challenges. That is, if the optical axis of the camera is kept perpendicular to the moving surface at all times, when the moving amount becomes large, the object is out of the field of view of the lens, and it becomes impossible to obtain data. ..
【０００４】本発明はこのような状況に鑑みてなされた
ものであり、物体の３次元形状をより正確に復元するこ
とができるようにするものである。The present invention has been made in view of such a situation, and it is possible to more accurately restore the three-dimensional shape of an object.
【０００５】[0005]
【課題を解決するための手段】本発明の３次元形状復元
方法は、同一の物体を異なる位置で撮影して得られる第
１の画像と第２の画像の対応点の視差を演算するアルゴ
リズム中に、視点の移動量と回転量を取り込んだことを
特徴とする。A three-dimensional shape restoration method of the present invention is an algorithm for calculating a parallax between corresponding points of a first image and a second image obtained by photographing the same object at different positions. The feature is that the amount of movement and the amount of rotation of the viewpoint are captured.
【０００６】[0006]
【作用】上記構成の３次元形状復元方法においては、視
差を演算するアルゴリズム中に、視点の移動量と回転量
が取り込まれている。従って、より広い範囲の３次元形
状の復元が可能となる。In the three-dimensional shape restoration method of the above construction, the amount of movement and the amount of rotation of the viewpoint are incorporated in the algorithm for calculating the parallax. Therefore, it is possible to restore a wider range of three-dimensional shapes.
【０００７】[0007]
【実施例】図１は、本発明において物体が撮影される様
子を示している。同図に示すように、本発明において
は、例えば位置Ａにおいてテレビカメラにより物体が撮
影され、投影面に投影されたその画像が得られる。その
後、テレビカメラは移動面を移動し、位置Ｂに到達した
とき、その撮影レンズの光軸を回転して物体の方向に向
けさせ、そこで物体を撮影する。即ち、本発明において
は、テレビカメラが移動されるだけでなく、移動された
位置においてその光軸が回転されるようになされてい
る。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT FIG. 1 shows how an object is photographed in the present invention. As shown in the figure, in the present invention, an object is photographed by a television camera at position A, for example, and an image thereof projected on a projection surface is obtained. After that, the television camera moves on the moving surface, and when it reaches the position B, the optical axis of its photographing lens is rotated and directed toward the object, and the object is photographed there. That is, in the present invention, not only is the television camera moved, but its optical axis is rotated at the moved position.
【０００８】その結果、例えば図２に示すように、物体
の外周を囲むようにＡ，Ｂ，Ｃ，Ｄといった各位置にお
いて物体を撮影することにより、物体の外周の全部の範
囲のデータを得ることができる。As a result, for example, as shown in FIG. 2, by photographing the object at each position A, B, C, D so as to surround the outer circumference of the object, data of the entire range of the outer circumference of the object is obtained. be able to.
【０００９】次に、図３および図４を用いて、物体の視
差について説明する。いま、図３に示すように、位置Ａ
と位置Ｂにおいてテレビカメラ１により物体を撮影する
と、図４（ａ）および（ｂ）に示すような画像が得られ
る。図３に示す物体の参照点Ｐの座標が、位置Ａで撮影
した画面においては（ｘp，ｙp）であり、位置Ｂで撮影
した画面においては（ｘp’，ｙp’）であったとする
と、参照点Ｐの視差ｄv（以下、ベクトルをvの添字を付
して表す）は、図４（ｂ）に示すようになる。Next, the parallax of an object will be described with reference to FIGS. 3 and 4. Now, as shown in FIG.
When an image of an object is taken by the television camera 1 at position B, the images as shown in FIGS. 4 (a) and 4 (b) are obtained. The coordinates of the reference point P of the object shown in FIG. 3 are (x p , y p ) on the screen shot at the position A and (x p ', y p ') on the screen shot at the position B. Then, the parallax d v of the reference point P (hereinafter, the vector is represented by subscripting v ) is as shown in FIG.
【００１０】以上のことをより立体的に表すと、図５お
よび図６に示すようになる。即ち、図５は位置Ａにおい
て撮影した状態を示している。座標軸Ｘ，Ｙ，Ｚのう
ち、Ｚ軸は物体方向の座標に設定されており、テレビカ
メラ１のレンズの光軸はこのＺ軸上に配置されている。
物体の参照点Ｐの座標は（Ｘp，Ｙp，Ｚp）で表すこと
ができる。即ち、Ｘ，Ｙ，Ｚ軸の原点をＯとするとき、
原点Ｏと参照点Ｐを結んで得られるベクトルＰvは、次
式で表すことができる。 Ｐv＝（Ｘp，Ｙp，Ｚp）・・・（１）The above three-dimensional representation is shown in FIGS. 5 and 6. That is, FIG. 5 shows a state of photographing at the position A. Of the coordinate axes X, Y, Z, the Z axis is set to the coordinate in the object direction, and the optical axis of the lens of the television camera 1 is arranged on this Z axis.
The coordinates of the reference point P of the object can be represented by (X p , Y p , Z p ). That is, when the origin of the X, Y, and Z axes is O,
The vector P v obtained by connecting the origin O and the reference point P can be expressed by the following equation. P v = (X p , Y p , Z p ) ... (1)
【００１１】この参照点Ｐは、Ｚ軸上において原点Ｏか
ら焦点距離ｆだけ離間した投影面上に点ｑとして投影さ
れる。この投影面は、ＸＹ平面と平行なＺ軸上の座標ｆ
における平面により構成される。投影面上の座標は、Ｘ
軸に平行な座標軸ｘと、Ｙ軸に平行な座標軸ｙにより表
される。参照点Ｐは投影面上において点ｑとして投影さ
れるため、点ｑの座標を（ｘp，ｙp）とすると、座標ｘ
ｙの原点をｏとするとき、原点ｏから点ｑに向かうベク
トルｑvが、ベクトルＰvの投影面に投影されたものとな
る。従って、次式が成立する。 ｑv＝（ｘp，ｙp）・・・（２）The reference point P is projected as a point q on the projection plane separated from the origin O by the focal length f on the Z axis. This projection plane is a coordinate f on the Z axis parallel to the XY plane.
It is composed of a plane. The coordinates on the projection plane are X
It is represented by a coordinate axis x parallel to the axis and a coordinate axis y parallel to the Y axis. Since the reference point P is projected as a point q on the projection surface, if the coordinates of the point q are (x p , y p ), the coordinate x
When the origin of y is o, the vector q v from the origin o toward the point q is projected on the projection plane of the vector P v . Therefore, the following equation is established. q v = (x p , y p ) ... (2)
【００１２】その結果、上記した式（１），（２）から
次式が成立する。 ｘp＝ｆ（Ｘp／Ｚp）・・・（３） ｙp＝ｆ（Ｙp／Ｚp）・・・（４）As a result, the following equation is established from the above equations (1) and (2). x p = f (X p / Z p) ··· (3) y p = f (Y p / Z p) ··· (4)
【００１３】一方、図６は、位置Ｂにおいて物体を撮影
した状態を示している。即ち、位置Ｂは、位置Ａ（図６
における原点Ｏ）からベクトルｔvだけ座標軸Ｘ，Ｙ，
Ｚを平行移動させた位置（図６における原点Ｏ’）とな
っている。そしてさらに、この実施例においては座標軸
が所定の方向に回転される。例えば平行移動した状態の
Ｘ軸（図６のＸ’軸）を中心として、角度θだけ座標軸
が回転される。そして新たな位置における座標軸をそれ
ぞれＸ’，Ｙ’，Ｚ’とする。また、原点はＯ’とされ
る。On the other hand, FIG. 6 shows a state in which the object is photographed at the position B. That is, the position B is the position A (see FIG. 6).
From the origin O) at the vector t v to the coordinate axes X, Y,
It is a position (origin O'in FIG. 6) obtained by translating Z. Further, in this embodiment, the coordinate axes are rotated in a predetermined direction. For example, the coordinate axis is rotated by the angle θ around the X axis (X ′ axis in FIG. 6) in the state of parallel movement. The coordinate axes at the new positions are X ', Y', and Z ', respectively. The origin is O '.
【００１４】Ｘ軸を中心にθだけ回転させた場合、回転
行列Ｒは次式で示すことができる。When rotated by θ about the X axis, the rotation matrix R can be expressed by the following equation.
【数１】 [Equation 1]
【００１５】上述した場合と同様に、この位置Ｂにおけ
る投影面の座標軸をｘ’，ｙ’とすると、参照点Ｐの投
影面上における投影点はｑ’となる。そして、その座標
は（ｘp’，ｙp’）となる。また、原点Ｏ’から参照点
ＰまでのベクトルＰv’は、投影面上においてはｑv’と
なる。その結果、次式が成立する。 Ｐv’＝（Ｘp’，Ｙp’，Ｚp’）・・・（６） ｑv’＝（ｘp’，ｙp’）・・・（７） ｘp’＝ｆ（Ｘp’／Ｚp’）・・・（８） ｙp’＝ｆ（Ｙp’／Ｚp’）・・・（９）As in the case described above, when the coordinate axes of the projection plane at this position B are x'and y ', the projection point of the reference point P on the projection plane is q'. Then, the coordinates are (x p ', y p '). Further, the vector P v ′ from the origin O ′ to the reference point P is q v ′ on the projection plane. As a result, the following equation is established. P v '= (X p' , Y p ', Z p') ··· (6) q v '= (x p', y p ') ··· (7) x p' = f (X p '/ Z p ') ・ ・ ・ (8) y p '= f (Y p ' / Z p ') ・ ・ ・ (9)
【００１６】平行移動成分ｔvと回転行列Ｒの逆行列Ｒ
-1により、ＰvとＰv’は次式の関係を有する。 Ｐv’＝Ｒ-1（Ｐv−ｔv）・・・（１０） ここで、Ｒ-1は次式で表される。Inverse matrix R of translation component t v and rotation matrix R
−1 , P v and P v 'have the following relationship. In P v '= R -1 (P v -t v) ··· (10) wherein, R -1 is expressed by the following equation.
【数２】 [Equation 2]
【００１７】またｔvは、次式で表される。 ｔv＝（ｔx，ｔy，ｔz）・・・（１５）Further, t v is expressed by the following equation. t v = (t x , t y , t z ) ... (15)
【００１８】式（１０）に式（１），（６），（１１）
乃至（１５）を代入すると、次式が得られる。Expressions (1), (6), and (11) are added to Expression (10).
By substituting (15) to (15), the following equation is obtained.
【数３】 ここでＳvpは、次式で定義されるものである。 Ｓvp≡（ｘp，ｙp，ｆ）・・・（１７）[Equation 3] Here, S vp is defined by the following equation. S vp ≡ (x p , y p , f) (17)
【００１９】式（１６）に、式（１２）乃至（１４）を
代入して、次の式が得られる。 Ｘp’＝ｒv1・（ＺpＳvp−ｆｔv）／ｆ・・・（１８） Ｙp’＝ｒv2・（ＺpＳvp−ｆｔv）／ｆ・・・（１９） Ｚp’＝ｒv3・（ＺpＳvp−ｆｔv）／ｆ・・・（２０）By substituting the expressions (12) to (14) into the expression (16), the following expression is obtained. X p '= r v1 · ( Z p S vp -ft v) / f ··· (18) Y p' = r v2 · (Z p S vp -ft v) / f ··· (19) Z p '= R v3 · (Z p S vp −ft v ) / f (20)
【００２０】上記した式（８），（９）に、式（１８）
乃至（２０）を代入すると、次の式が得られる。 ｘp’＝ｆ（Ｘp’／Ｚp’） ＝ｆ｛（ｒv1・（ＺpＳvp−ｆｔv））／（ｒv3・（ＺpＳvp−ｆｔv））｝ ・・・（２１） ｙp’＝ｆ（Ｙp’／Ｚp’） ＝ｆ｛（ｒv2・（ＺpＳvp−ｆｔv））／（ｒv3・（ＺpＳvp−ｆｔv））｝ ・・・（２２）In addition to the above equations (8) and (9), the equation (18)
By substituting (20) to (20), the following equation is obtained. x p '= f (X p ' / Z p ') = f {(r v1 · (Z p S vp -ft v)) / (r v3 · (Z p S vp -ft v))} ··· (21) y p '= f (Y p' / Z p ') = f {(r v2 · (Z p S vp -ft v)) / (r v3 · (Z p S vp -ft v))} ... (22)
【００２１】視差ｄvは、次式で示すことができる。 ｄv＝ｑv−ｑv’＝（ｄｘ，ｄｙ）・・・（２３）The parallax d v can be expressed by the following equation. d v = q v -q v ' = (dx, dy) ··· (23)
【００２２】また、ｄｘ，ｄｙは次式で示すことができ
る。 ｄｘ＝ｘ−ｘ’・・・（２４） ｄｙ＝ｙ−ｙ’・・・（２５）Further, dx and dy can be expressed by the following equations. dx = xx '... (24) dy = yy' ... (25)
【００２３】上記した式（２１），（２２）は、添字ｐ
を除くと、画像の各画素に投影されている物体上の部分
の奥行きと、視点を変えたときの画像における対応点の
位置を表す一般的な関係式となる。これらの式を視差ｄ
vと奥行きＺとの関係に直し、式（２４），（２５）を
代入すると、次式が得られる。 Ｚ＝［ｆ｛（ｘ−ｄｘ）ｒv3−ｆｒv1｝ｔv〕 ／［｛（ｘ−ｄｘ）ｒv3−ｆｒv1｝Ｓv］ ＝［ｆ｛（ｙ−ｄｙ）ｒv3−ｆｒv2｝ｔv〕 ／［｛（ｙ−ｄｙ）ｒv3−ｆｒv2｝Ｓv］・・・（２６）In the above equations (21) and (22), the subscript p
Is a general relational expression that represents the depth of the portion on the object projected on each pixel of the image and the position of the corresponding point in the image when the viewpoint is changed. Parallax d of these equations
By substituting the equations (24) and (25) into the relationship between v and the depth Z, the following equation is obtained. Z = [f {(x- dx) r v3 -fr v1} t v ] / [{(x-dx) r v3 -fr v1} S v] = [f {(y-dy) r v3 -fr v2 } t v] / [{(y-dy) r v3 -fr v2} S v] ··· (26)
【００２４】即ち、視差分布ｄｘ，ｄｙを適当な数値解
法を用いて解くことにより、物体の奥行きＺの分布、即
ち、３次元形状を復元することができる。尚、視点の移
動をＸ方向に限定し（ｔy＝ｔz＝０）、かつ回転を与え
ないようにすると（Ｒを単位行列とすると）、Ｚ＝ｆ×
（ｔｘ／ｄｘ）となり、通常のステレオマッチングに相
当する。That is, by solving the parallax distributions dx and dy using an appropriate numerical solution method, the distribution of the depth Z of the object, that is, the three-dimensional shape can be restored. Incidentally, if the movement of the viewpoint is limited to the X direction (t y = t z = 0) and no rotation is given (when R is a unit matrix), Z = f ×
(Tx / dx), which corresponds to normal stereo matching.
【００２５】画像間の視差分布ｄvの計算は、通常のス
テレオマッチングと同様の方法（例えば、特開平３−１
６７６７８号公報に開示されている）により可能であ
る。また、ｄvを式（２６）によって物体の奥行き分布
に変換することができるが、次にその計算方法の例につ
いて説明する。The parallax distribution d v between the images is calculated by the same method as the ordinary stereo matching (for example, Japanese Patent Laid-Open No. 3-1
No. 67678). Further, d v can be converted into the depth distribution of the object by the equation (26). Next, an example of the calculation method will be described.
【００２６】２つの画像情報Ｆ0（ｑv），Ｆ1（ｑv）が
エッジ情報のような２値（黒または白）情報であった
り、物体から見た２つの視点までの距離およびレンズの
見込み角の差が影響しないような輝度情報であれば、対
応点の存在する領域においては次式が成立する。 Ｆ0（ｑv）＝Ｆ1（ｑv＋ｄv（ｑv））・・・（２７）The two pieces of image information F 0 (q v ) and F 1 (q v ) are binary (black or white) information such as edge information, or the distance from the object to the two viewpoints and the lens. If the luminance information is such that the difference in the viewing angle does not affect, the following formula is established in the area where the corresponding points exist. F 0 (q v ) = F 1 (q v + d v (q v )) (27)
【００２７】視差ｄvを次式で示すように、オフセット
量ｄv0とΔｄv（ｑv）の和で表すものとすると、 ｄv＝ｄv0＋Δｄv（ｑv）・・・（２８） 上記した式（２７）は、近似的に次のように表すことが
できる。 Ｆ0（ｑv）＝Ｆ1（ｑv＋ｄv0＋Δｄv（ｑv）） ＝Ｆ1（ｑv＋ｄv0）＋Δｄv（ｑv）×ΔＦ1（ｑv＋ｄv0） ・・・（２９）Assuming that the parallax d v is represented by the sum of the offset amount d v0 and Δd v (q v ) as shown by the following equation, d v = d v0 + Δd v (q v ) (28) The above equation (27) can be approximately expressed as follows. F 0 (q v ) = F 1 (q v + d v0 + Δd v (q v )) = F 1 (q v + d v0 ) + Δd v (q v ) × ΔF 1 (q v + d v0 ) ... (29 )
【００２８】その結果、次式が得られる。 Δｄｘ（ｑv）（∂Ｆ1／∂ｘ）（ｑv＋ｄv0） ＋Δｄｙ（∂Ｆ1／∂ｙ）（ｑv＋ｄv0） ＝Ｆ0（ｑv）−Ｆ1（ｑv＋ｄv0）・・・（３０）As a result, the following equation is obtained. Δdx (q v ) (∂F 1 / ∂x) (q v + d v0 ) + Δdy (∂F 1 / ∂y) (q v + d v0 ) = F 0 (q v ) −F 1 (q v + d v0 ). ... (30)
【００２９】一方、次の（３１），（３２）の条件を上
記した式（２６）に代入すると、次の式（３３）が得ら
れる。 ｄｘ＝ｄ0x＋Δｄｘ・・・（３１） ｄｙ＝ｄ0y＋Δｄｙ・・・（３２） Ｚ＝［ｆ｛（ｘ−（ｄ0x＋Δｄｘ））ｒv3−ｆｒv1｝・ｔv］ ／［｛（ｘ−（ｄ0x＋Δｄｘ））ｒv3−ｆｒv1｝・Ｓv］ ＝［ｆ｛（ｙ−（ｄ0y＋Δｄｙ））ｒv3−ｆｒv2｝・ｔv］ ／［｛（ｙ−（ｄ0y＋Δｄｙ））ｒv3−ｆｒv2｝・Ｓv］ ・・・（３３）On the other hand, by substituting the following conditions (31) and (32) into the above equation (26), the following equation (33) is obtained. dx = d 0x + Δdx ··· ( 31) dy = d 0y + Δdy ··· (32) Z = [f {(x- (d 0x + Δdx)) r v3 -fr v1} · t v] / [{( x- (d 0x + Δdx)) r v3 -fr v1} · S v] = [f {(y- (d 0y + Δdy)) r v3 -fr v2} · t v] / [{(y- (d 0y + Δdy)) r v3 −fr v2 } · S v ] (33)
【００３０】上記した式（３０）と（３３）は連立方程
式を成し、これを解くことによりΔｄｘ（ｑv），Δｄ
ｙ（ｑv）を求めることができる。その結果、上記した
式（３３）と（３），（４）より、画像Ｆ0（ｑv）上の
ｑvに対応する物体上の点の３次元空間における座標
（Ｘ，Ｙ，Ｚ）を求めることができる。視差のオフセッ
トｄv0は、物体の存在する大体の位置を考慮するなどし
て与えるが、ｄv0＋Δｄv0を、ｄv1として再びΔｄvを
計算することにより、精度を向上させることができる。
同様の計算を繰り返すと、Δｄvが次第に０に近い値と
なり、適当な値εを設定して、Δｄvの絶対値がこのε
より小さくなったところで演算を終了させる。The above equations (30) and (33) form simultaneous equations, and by solving them, Δdx (q v ) and Δd
y (q v ) can be obtained. As a result, from the above equations (33), (3), and (4), the coordinates (X, Y, Z) of the point on the object corresponding to q v on the image F 0 (q v ) in the three-dimensional space Can be asked. The parallax offset d v0 is given by taking into account the position of the object in general, and the accuracy can be improved by calculating Δ d v again using d v0 + Δd v0 as d v1 .
When the same calculation is repeated, Δd v gradually becomes a value close to 0, an appropriate value ε is set, and the absolute value of Δd v becomes
The calculation is terminated when it becomes smaller.
【００３１】以上の演算が画素Ｆ0の各画素に対して実
行される。The above calculation is executed for each pixel of the pixel F 0 .
【００３２】図７は、以上の演算を実行するフローチャ
ートを示している。最初にステップＳ１において、変数
ｎが０に初期設定される。この変数ｎは画素番号を表
し、画素総数Ｎ以下の値を取る。次にステップＳ２に進
み、ｍが０に初期設定され、またΔｄvmが初期値Δｄv0
に設定される。次にステップＳ３に進み、（∂Ｆ1／∂
ｘ）（ｑvn＋ｄvm）および（∂Ｆ1／∂ｙ）（ｑvn＋ｄ
vm）の演算が実行される。即ち、ここにおいて画像情報
が微分される。FIG. 7 shows a flowchart for executing the above calculation. First, in step S1, the variable n is initialized to 0. This variable n represents a pixel number and takes a value equal to or less than the total number N of pixels. Next, in step S2, m is initialized to 0, and Δd vm is an initial value Δd v0.
Is set to. Next, in step S3, (∂F 1 / ∂
x) (q vn + d vm ) and (∂F 1 / ∂y) (q vn + d
vm ) operation is executed. That is, the image information is differentiated here.
【００３３】さらにステップＳ４に進み、上記した式
（３０），（３３）の連立方程式を演算し、Δｄvmが求
められる。次にステップＳ５に進み、ｄvm＋Δｄvmをｄ
vm+1に設定する。Further proceeding to step S4, the simultaneous equations of the above equations (30) and (33) are calculated to obtain Δd vm . Next, in step S5, d vm + Δd vm is d
Set to vm + 1 .
【００３４】次にステップＳ６において、Δｄvmの絶対
値が所定の定数εより小さいか否かが判定される。ステ
ップＳ６においてＹＥＳの判定が行なわれた場合におい
ては、ステップＳ７に進み、上記した式（３），
（４），（３３）から、Ｘn，Ｙn，Ｚnが演算される。
即ち、物体の３次元空間の座標が求められる。Next, at step S6, it is judged if the absolute value of Δd vm is smaller than a predetermined constant ε. If YES is determined in step S6, the process proceeds to step S7, and the above equation (3),
From (4) and (33), X n , Y n , and Z n are calculated.
That is, the coordinates of the object in the three-dimensional space are obtained.
【００３５】ステップＳ６において、ＮＯの判定が行な
われた場合においては、ステップＳ９に進み、ｍがＭよ
り小さいか否かが判定される。このＭは、繰り返し演算
の繰り返し数の上限値を意味している。ｍがＭより小さ
い場合においては、まだ演算回数が上限値に達していな
いため、ステップＳ１０に進み、ｍを１だけインクリメ
ントして、ステップＳ３に進み、それ以降の処理が繰り
返し実行される。If NO is determined in step S6, the process proceeds to step S9, and it is determined whether or not m is smaller than M. This M means the upper limit value of the number of iterations of the iterative calculation. When m is smaller than M, the number of calculations has not reached the upper limit value yet, so the process proceeds to step S10, m is incremented by 1, the process proceeds to step S3, and the subsequent processes are repeatedly executed.
【００３６】ステップＳ９において、変数ｍがＭ以上に
なったと判定された場合においては、ステップＳ７の処
理が完了した場合と同様に、ステップＳ８に進み、変数
ｎとＮの大きさが比較される。変数ｎがＮより小さい場
合においては、即ち、すべての画素に対する演算がまだ
完了していない場合においては、ステップＳ１１に進
み、変数ｎが１だけインクリメントされ、ステップＳ２
に戻り、それ以降の処理が繰り返し実行される。ステッ
プＳ８において、変数ｎがＮ以上と判定された場合にお
いては、すべての画素の処理が終了したので、演算処理
は終了される。When it is determined in step S9 that the variable m has become equal to or greater than M, the process proceeds to step S8 and the magnitudes of the variables n and N are compared, as in the case where the process of step S7 is completed. .. If the variable n is smaller than N, that is, if the calculation has not been completed for all pixels, the process proceeds to step S11, the variable n is incremented by 1, and step S2 is performed.
Then, the subsequent processing is repeatedly executed. When it is determined in step S8 that the variable n is equal to or greater than N, the processing of all the pixels is completed, and thus the arithmetic processing is completed.
【００３７】図８は、以上の演算を実行するためのハー
ド構成を示している。同図に示すように、テレビカメラ
１は物体を撮影すると、そのビデオ信号を出力する。こ
のビデオ信号は、Ａ／Ｄ変換器２によりＡ／Ｄ変換さ
れ、ＣＰＵ３に出力される。ＣＰＵ３は、ＲＯＭ６に記
憶されているプログラムに従って各部を制御する。即
ち、Ａ／Ｄ変換器２より入力されたデータを一旦ＲＡＭ
７に記憶させる。そしてカメラ制御部５を介してテレビ
カメラ１を制御し、テレビカメラ１の撮影位置を移動さ
せて、複数の位置における画像データをＲＡＭ７に記憶
させる。さらにＲＡＭ７に記憶されたデータを読み出し
て処理し、その処理結果をＣＲＴ４に出力し、表示させ
る。即ち、これにより、ＣＲＴ４に復元された３次元形
状が表示されることになる。FIG. 8 shows a hardware configuration for executing the above calculation. As shown in the figure, when the television camera 1 shoots an object, it outputs a video signal thereof. This video signal is A / D converted by the A / D converter 2 and output to the CPU 3. The CPU 3 controls each unit according to the program stored in the ROM 6. That is, the data input from the A / D converter 2 is temporarily stored in the RAM.
Store in 7. Then, the TV camera 1 is controlled via the camera control unit 5, the shooting position of the TV camera 1 is moved, and image data at a plurality of positions is stored in the RAM 7. Further, the data stored in the RAM 7 is read and processed, and the processing result is output to the CRT 4 and displayed. That is, by this, the restored three-dimensional shape is displayed on the CRT 4.
【００３８】[0038]
【発明の効果】以上の如く本発明の３次元形状復元方法
によれば、対応点の視差を演算するアルゴリズム中に、
視点の移動量と回転量を取り込むようにしたので、物体
の３次元形状をより広い範囲に復元することが可能にな
る。As described above, according to the three-dimensional shape restoration method of the present invention, in the algorithm for calculating the parallax of corresponding points,
Since the amount of movement and the amount of rotation of the viewpoint are captured, the three-dimensional shape of the object can be restored in a wider range.
【図１】本発明の３次元形状復元方法による物体の撮影
方法を説明する図である。FIG. 1 is a diagram illustrating a method of capturing an object by a three-dimensional shape restoration method of the present invention.
【図２】本発明の３次元形状復元方法による物体の撮影
方法の他の実施例を説明する図である。FIG. 2 is a diagram for explaining another embodiment of the object photographing method by the three-dimensional shape restoration method of the present invention.
【図３】図４に示す画面が得られる撮影位置を説明する
図である。FIG. 3 is a diagram illustrating a shooting position where the screen shown in FIG. 4 is obtained.
【図４】図３に示した位置において撮影したとき得られ
る画像を説明する図である。FIG. 4 is a diagram illustrating an image obtained when the image is captured at the position shown in FIG.
【図５】参照点を所定の位置で撮影した場合における座
標軸を説明する図である。FIG. 5 is a diagram illustrating coordinate axes when a reference point is photographed at a predetermined position.
【図６】図５において得られた座標を移動した場合の状
態を説明する図である。FIG. 6 is a diagram illustrating a state when the coordinates obtained in FIG. 5 are moved.
【図７】本発明の３次元形状復元方法の一実施例の処理
ステップを示すフローチャートである。FIG. 7 is a flowchart showing the processing steps of an embodiment of the three-dimensional shape restoration method of the present invention.
【図８】本発明の３次元形状復元方法を実行するハード
ウェア構成を示すブロック図である。FIG. 8 is a block diagram showing a hardware configuration for executing the three-dimensional shape restoration method of the present invention.
【図９】従来の３次元形状復元方法における物体の撮影
方法を説明する図である。FIG. 9 is a diagram illustrating a method of capturing an object in a conventional three-dimensional shape restoration method.
１ テレビカメラ ２ Ａ／Ｄ変換器 ３ ＣＰＵ ４ ＣＲＴ ５ カメラ制御部 ６ ＲＯＭ ７ ＲＡＭ 1 TV camera 2 A / D converter 3 CPU 4 CRT 5 Camera control unit 6 ROM 7 RAM
Claims (1)
れる第１の画像と第２の画像の対応点の視差を演算する
アルゴリズム中に、視点の移動量と回転量を取り込んだ
ことを特徴とする３次元形状復元方法。1. A moving amount and a rotating amount of a viewpoint are incorporated in an algorithm for calculating a parallax between corresponding points of a first image and a second image obtained by photographing the same object at different positions. A characteristic three-dimensional shape restoration method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4110842A JPH05314243A (en) | 1992-04-03 | 1992-04-03 | Three-dimensional shape restoring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4110842A JPH05314243A (en) | 1992-04-03 | 1992-04-03 | Three-dimensional shape restoring method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05314243A true JPH05314243A (en) | 1993-11-26 |
Family
ID=14546050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4110842A Pending JPH05314243A (en) | 1992-04-03 | 1992-04-03 | Three-dimensional shape restoring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05314243A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005043081A1 (en) * | 2003-10-31 | 2007-05-10 | 富士通株式会社 | Distance calculation device and calculation program |
| KR100866491B1 (en) * | 2007-01-30 | 2008-11-03 | 삼성전자주식회사 | Image processing method and apparatus |
| JP2009300457A (en) * | 2009-09-16 | 2009-12-24 | Fujitsu Ltd | Distance calculator and calculation program |
| WO2010143759A1 (en) * | 2009-06-10 | 2010-12-16 | (주)엘지전자 | Stereoscopic image reproduction method in case of pause mode and stereoscopic image reproduction apparatus using same |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58208606A (en) * | 1982-05-29 | 1983-12-05 | Nippon Telegr & Teleph Corp <Ntt> | Three dimensional position measuring method |
| JPS6281508A (en) * | 1985-10-05 | 1987-04-15 | Kawasaki Heavy Ind Ltd | Optical 3-dimensional position measuring apparatus |
| JPH01320431A (en) * | 1988-06-22 | 1989-12-26 | Ohbayashi Corp | Three-dimensional position measuring device |
| JPH02245610A (en) * | 1989-03-20 | 1990-10-01 | Fujitsu Ltd | Object position measuring system by binocular stereoscopy |
| JPH03215708A (en) * | 1990-01-20 | 1991-09-20 | Mitsubishi Electric Corp | Vehicle-to-vehicle distance detecting device |
| JPH04203906A (en) * | 1990-11-29 | 1992-07-24 | Sanyo Mach Works Ltd | Measuring apparatus of position |
| JPH05196437A (en) * | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | Input device for three-dimensional information |
| JPH05248819A (en) * | 1992-03-06 | 1993-09-28 | Kobe Steel Ltd | Calibrating method of data of calibration object for measuring three dimensional position of object by camera and measuring method of three dimensional position |
-
1992
- 1992-04-03 JP JP4110842A patent/JPH05314243A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58208606A (en) * | 1982-05-29 | 1983-12-05 | Nippon Telegr & Teleph Corp <Ntt> | Three dimensional position measuring method |
| JPS6281508A (en) * | 1985-10-05 | 1987-04-15 | Kawasaki Heavy Ind Ltd | Optical 3-dimensional position measuring apparatus |
| JPH01320431A (en) * | 1988-06-22 | 1989-12-26 | Ohbayashi Corp | Three-dimensional position measuring device |
| JPH02245610A (en) * | 1989-03-20 | 1990-10-01 | Fujitsu Ltd | Object position measuring system by binocular stereoscopy |
| JPH03215708A (en) * | 1990-01-20 | 1991-09-20 | Mitsubishi Electric Corp | Vehicle-to-vehicle distance detecting device |
| JPH04203906A (en) * | 1990-11-29 | 1992-07-24 | Sanyo Mach Works Ltd | Measuring apparatus of position |
| JPH05196437A (en) * | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | Input device for three-dimensional information |
| JPH05248819A (en) * | 1992-03-06 | 1993-09-28 | Kobe Steel Ltd | Calibrating method of data of calibration object for measuring three dimensional position of object by camera and measuring method of three dimensional position |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2005043081A1 (en) * | 2003-10-31 | 2007-05-10 | 富士通株式会社 | Distance calculation device and calculation program |
| KR100866491B1 (en) * | 2007-01-30 | 2008-11-03 | 삼성전자주식회사 | Image processing method and apparatus |
| US8223194B2 (en) | 2007-01-30 | 2012-07-17 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
| WO2010143759A1 (en) * | 2009-06-10 | 2010-12-16 | (주)엘지전자 | Stereoscopic image reproduction method in case of pause mode and stereoscopic image reproduction apparatus using same |
| US8830301B2 (en) | 2009-06-10 | 2014-09-09 | Lg Electronics Inc. | Stereoscopic image reproduction method in case of pause mode and stereoscopic image reproduction apparatus using same |
| JP2009300457A (en) * | 2009-09-16 | 2009-12-24 | Fujitsu Ltd | Distance calculator and calculation program |
| JP4664427B2 (en) * | 2009-09-16 | 2011-04-06 | 富士通株式会社 | Distance calculation device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7291244B2 (en) | Projector Keystone Correction Method, Apparatus, System and Readable Storage Medium | |
| US11039121B2 (en) | Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method | |
| US9946955B2 (en) | Image registration method | |
| EP0782100B1 (en) | Three-dimensional shape extraction apparatus and method | |
| EP0680014B1 (en) | Image processing method and apparatus | |
| WO2019049331A1 (en) | Calibration device, calibration system, and calibration method | |
| KR101521008B1 (en) | Correction method of distortion image obtained by using fisheye lens and image display system implementing thereof | |
| CN113841384B (en) | Calibration device, chart for calibration and calibration method | |
| KR102225617B1 (en) | Method of setting algorithm for image registration | |
| CN114727081B (en) | Projector projection correction method and device and projector | |
| CN101132535A (en) | Multi-projection large screen split-joint method based on rotating platform | |
| JPH08331610A (en) | Automatic image controller | |
| WO2021208486A1 (en) | Camera coordinate transformation method, terminal, and storage medium | |
| CN105128539A (en) | Optical projection laser marking method and laser marking system | |
| Amano | Projection center calibration for a co-located projector camera system | |
| WO2013069555A1 (en) | Image processing device, method, and program | |
| KR100614004B1 (en) | An automated method for creating 360 degrees panoramic image | |
| CN113554708A (en) | Complete calibration method of linear structured light vision sensor based on single cylindrical target | |
| CN111131801A (en) | Projector correction system and method and projector | |
| JPH05314243A (en) | Three-dimensional shape restoring method | |
| KR20200033601A (en) | Apparatus and method for processing image | |
| Bushnevskiy et al. | Multimode camera calibration | |
| TWI766206B (en) | Method for correcting distortion image and apparatus thereof | |
| JPH11150741A (en) | Three-dimensional picture displaying method and its device by stereo photographing | |
| JPH06102027A (en) | Three-dimensional shape recovering method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20010703 |