JP4714050B2 - 3D shape model generation system - Google Patents
3D shape model generation system Download PDFInfo
- Publication number
- JP4714050B2 JP4714050B2 JP2006071856A JP2006071856A JP4714050B2 JP 4714050 B2 JP4714050 B2 JP 4714050B2 JP 2006071856 A JP2006071856 A JP 2006071856A JP 2006071856 A JP2006071856 A JP 2006071856A JP 4714050 B2 JP4714050 B2 JP 4714050B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image
- edge point
- surface element
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
本発明は、画像入力装置(カメラ)を移動しながら撮影した画像列から物体の面情報を含んだ３次元形状モデルを生成するシステムに関する。 The present invention relates to a system for generating a three-dimensional shape model including surface information of an object from an image sequence photographed while moving an image input device (camera).
カメラ画像列とそれらを撮影したときのカメラ姿勢列とから物体の面情報を含んだ密な３次元形状モデルを生成する方法として、従来、相関ステレオ法、スペースカービング法、パッチ補間法が提案されている。
相関ステレオ法では、たとえば、非特許文献１で述べられているように、２枚の画像間で対応づけした画像点の３次元復元像を三角測量の原理で求める。画像点の対応づけを行うために、各画像点の類似度を、その周辺画像の正規化相関から計算する。
非特許文献２で提案されたスペースカービング法は、物体をボクセルと呼ばれる微小立方体の集合で表し、各カメラ姿勢で撮影した画像に整合するようにボクセル集合を削ることで物体の３次元形状を生成する。具体的には、与えられたカメラ姿勢にしたがって、ボクセルを各画像に投影し、その投影点の色が画像間で大きく食い違えば、そのボクセルは矛盾しているとして削除する。これを各ボクセルについて繰り返すことで、すべての画像での見え方に矛盾しない物体形状モデルを作ることができる。
Conventionally, a correlated stereo method, space carving method, and patch interpolation method have been proposed as methods for generating a dense three-dimensional shape model including surface information of an object from a camera image sequence and a camera posture sequence at the time of shooting. ing.
In the correlated stereo method, for example, as described in Non-Patent Document 1, a three-dimensional restored image of image points associated between two images is obtained by the principle of triangulation. In order to associate image points, the similarity of each image point is calculated from the normalized correlation of the surrounding images.
In the space carving method proposed in Non-Patent Document 2, an object is represented by a set of microcubes called voxels, and the three-dimensional shape of the object is generated by cutting the voxel set so as to match the images taken at each camera posture. To do. Specifically, a voxel is projected on each image according to a given camera posture, and if the color of the projected point is significantly different between the images, the voxel is deleted as inconsistent. By repeating this for each voxel, an object shape model consistent with the appearance in all images can be created.
パッチ補間法は、まず、画像から抽出した顕著な特徴点を用いて物体の疎な３次元形状
を復元し、次に、その特徴点を頂点とする多角形パッチによって物体の面を補間することで、物体の３次元形状を生成するものである。多くの場合、三角形パッチが用いられる。この方法では、本来は平面がない部分に偽のパッチが張られることがあるため、非特許文献３で述べられているように、可視性制約(visibility constraint) と呼ばれる制約を用いて、偽のパッチを除去することが行われる。
The patch interpolation method first restores a sparse three-dimensional shape of an object using salient feature points extracted from an image, and then interpolates the surface of the object with a polygon patch having the feature points as vertices. Thus, a three-dimensional shape of the object is generated. In many cases, triangular patches are used. In this method, a false patch may be applied to a portion that originally does not have a plane. Therefore, as described in Non-Patent Document 3, using a constraint called visibility constraint, a false patch is used. Removing the patch is done.
従来の相関ステレオ法は、表面に模様や凹凸を多くもつ物体には有効であるが、模様の少ない物体にはうまく作用しないという問題がある。たとえば、家具、壁、床などの物体は、模様が少ない広い平面で構成されることが多い。このような平面上の点に対しては、正規化相関などの指標で計算した類似度はほとんど同じ値になってしまう。このため、画像間で点の対応づけができなくなり、３次元復元が得られなくなる。 The conventional correlation stereo method is effective for an object having a lot of patterns and irregularities on the surface, but has a problem that it does not work well for an object with few patterns. For example, objects such as furniture, walls, and floors are often composed of a wide plane with few patterns. For such points on the plane, the similarity calculated with an index such as normalized correlation has almost the same value. For this reason, it becomes impossible to associate points between images, and three-dimensional restoration cannot be obtained.
また、スペースカービング法は、画像点の明示的な対応づけがいらないという利点があるが、物体の色と背景の色が似ている場合にうまく作用しないという問題がある。各画像での色や輝度に不整合が生じた場合にボクセルを削除するため、不整合の度合いが小さいと、うまくボクセルを削ることができなくなる。また、広い平面をうまく削るには、その平面と背景をよく比較するために、その平面とほぼ平行なカメラ視線が必要であり、画像
撮影においてカメラを広範囲に動かさなければならないという問題もある。
In addition, the space carving method has an advantage that it does not require an explicit association of image points, but there is a problem that it does not work well when the object color and the background color are similar. Voxels are deleted when inconsistencies occur in the color and brightness of each image. Therefore, if the degree of inconsistency is small, voxels cannot be removed well. In addition, in order to cut a large plane well, in order to compare the plane and the background well, a camera line of sight substantially parallel to the plane is necessary, and there is a problem that the camera must be moved in a wide range in image shooting.
パッチ補間法は、これらの問題には対処できるが、顕著な特徴点が少数しか得られないと、1 つのパッチが複数の面にまたがって生成されることが多くなり、正確な形状が得られなくなるという問題ある。
たとえば、図１（ａ）に示すような２つの矩形平面で構成された物体を考える。特徴点抽出処理において、顕著な特徴点がすべて得られた場合は、図１（ｂ）のハッチングで示したようなパッチが張られるが、たとえば、頂点Ｃが検出できなかったとすると、図１（ｃ）のハッチングで示したようなパッチが張られてしまう。このうち、パッチＡＤＥは可視性制約で削除可能であるが、その場合でも、パッチが張られない大きな空白部分が残る。さらに、面の形状が円のように明確な特徴点を持たない場合は、パッチを張ることができないという問題もある。
本発明は、これらの問題に対処するために、画像エッジ点をもとに面を補間することで、面情報を含んだ密な３次元形状モデルを生成することを目的とする。
Patch interpolation can address these problems, but if there are only a few significant feature points, a single patch is often generated across multiple faces, resulting in an accurate shape. There is a problem of disappearing.
For example, consider an object composed of two rectangular planes as shown in FIG. In the feature point extraction process, when all the remarkable feature points are obtained, a patch as shown by hatching in FIG. 1B is applied. For example, if the vertex C cannot be detected, FIG. The patch shown by the hatching in c) is stretched. Of these, the patch ADE can be deleted due to the visibility restriction, but even in that case, a large blank portion where the patch is not applied remains. Furthermore, there is a problem that a patch cannot be applied when the shape of the surface does not have a clear feature point such as a circle.
In order to cope with these problems, an object of the present invention is to generate a dense three-dimensional shape model including surface information by interpolating a surface based on image edge points.
上述の本発明の目的を達成するために、本発明は、画像列から物体の面情報を含んだ３次元形状モデルを生成する３次元形状モデル生成システムにおいて、該画像列から画像エッジ点と対応づけて３次元復元した該物体の３次元エッジ点の各々について、該対応する画像エッジ点が現れる部分画像列を抽出する部分画像列抽出手段と、該部分画像列抽出手段からの部分画像列の各画像上で、対応する３次元エッジ点を有する前記画像エッジ点のある点から直線を伸ばし、最初に当たった画像エッジ点との間に線分を張り、該画像エッジ点が対応する３次元エッジ点を有していれば該線分を２次元面素線分とし、最終的に各２次元面素線分に対応する３次元面素線分を生成する３次元面素線分生成手段と、該３次元面素線分の集合を前記物体の面を構成するボクセル表現に変換するボクセル表現変換手段とを備え、物体の面情報を含んだ３次元形状モデルを出力することを特徴とする。 In order to achieve the above-described object of the present invention, the present invention relates to an image edge point from an image sequence in a 3D shape model generation system that generates a 3D shape model including surface information of an object from an image sequence. Then , for each of the three-dimensional edge points of the object restored three-dimensionally, a partial image sequence extracting means for extracting a partial image sequence in which the corresponding image edge point appears, and a partial image sequence from the partial image sequence extracting means On each image, a straight line is extended from a certain point of the image edge point having a corresponding three-dimensional edge point, and a line segment is drawn between the image edge point first hit and the corresponding three-dimensional image edge point. if it has an edge point line segments and two-dimensional surface elements line, finally three-dimensional surface elements line segment generating means for generating a three-dimensional surface elements line segments corresponding to each of the two-dimensional plane containing a line segment When a set of the three-dimensional surface elements line of the object And a voxel representation conversion means for converting the voxel representation that constitutes the, and outputs the object 3-dimensional shape model including surface information.
また、本発明は、画像列から処理すべき画像を１枚ずつ入力し、該画像列から物体の面情報を含んだ３次元形状モデルを生成する３次元形状モデル生成システムにおいて、現在画像と以前の画像とから、画像エッジ点と該物体の３次元エッジ点とを対応づけして３次元復元する３次元エッジ点復元手段と、該３次元エッジ点復元手段で復元した３次元エッジ点の各々について、該３次元エッジ点が初めて復元されたならば、該３次元エッジ点に対応する画像エッジ点が初めて抽出された画像から現在画像までの各画像において、該３次元エッジ点と対応する画像エッジ点と、他の３次元エッジ点に対応する画像エッジ点との間に２次元線分を張り、該３次元エッジ点が初めて復元されたのでなければ、現在画像において、該３次元エッジ点と対応する画像エッジ点と他の３次元エッジ点に対応する画像エッジ点との間に２次元線分を張って、該２次元線分に対応する３次元面素線分の集合を生成する３次元面素線分生成手段と、該３次元面素線分の集合を前記物体の面を構成するボクセル表現に変換するボクセル表現変換手段とを備え、順次画像列の画像を処理して、物体の面情報を含んだ３次元形状モデルを出力することを特徴とする。
前記３次元面素線分生成手段は、前記３次元面素線分生成手段により生成された３次元面素線分から、可視性制約に反する３次元面素線分を排除する可視性制約判定手段を有し、該可視性制約判定手段は、３次元面素線分に対応する２次元面素線分が存在する各画像上で、生成した３次元面素線分に対応する２次元面素線分上の各画素に対して、画像エッジ点があるかを調べ、あった場合は、その画像エッジ点の対応する３次元エッジ点のカメラから見た奥行が該３次元面素線分より大きい場合は、該３次元面素線分を排除するとよい。
The present invention also provides a three-dimensional shape model generation system that inputs one image at a time from an image sequence and generates a three-dimensional shape model including object surface information from the image sequence. each image from the, and the three-dimensional edge point restoring means for association to restore the three-dimensional and three-dimensional edge points of the image edge points and said object, the three-dimensional edge points restored by the 3-dimensional edge point restoring means for, if the three-dimensional edge points is first restored, in each image from the image by the image edge point corresponding to the three-dimensional edge points is first extracted to the current image, an image corresponding to the three-dimensional edge point the If a two-dimensional line segment is drawn between the edge point and an image edge point corresponding to another three-dimensional edge point and the three-dimensional edge point is not restored for the first time, the three-dimensional edge point in the current image and Put the 2-dimensional line segment between the image edge point corresponding to the image edge points and other three-dimensional edge points response, it generates a set of three-dimensional surface elements line segment corresponding to the two-dimensional line segment 3 with a dimension surface elements line content generating means, and a voxel representation conversion means for converting the voxel representation which constitutes the surface of the set of the three-dimensional surface elements line object, by processing the image of the sequential image sequence, the object A three-dimensional shape model including the surface information is output.
The three-dimensional surface element line generation unit is a visibility constraint determination unit that excludes a three-dimensional surface element line segment that violates the visibility constraint from the three-dimensional surface element line segment generated by the three-dimensional surface element segment generation unit. And the visibility constraint determining means includes a two-dimensional surface element corresponding to the generated three-dimensional surface element segment on each image in which the two-dimensional surface element segment corresponding to the three-dimensional surface element segment exists. For each pixel on the line segment, it is checked whether there is an image edge point. If there is, the depth viewed from the camera of the corresponding three-dimensional edge point of the image edge point is determined from the three-dimensional surface element line segment. If it is larger, the three-dimensional surface element segment may be excluded.
上述の３次元形状モデル生成システムにおいて、前記ボクセル表現変換手段は、３次元空間を微小立方体の集合で表し、前記３次元エッジ点集合の各３次元線分から所定の間隔で３次元点をサンプリングし、該３次元点に位置が最も近い微小立方体を求めて、該微小立方体に該３次元点を登録して、該３次元点の個数が所定の閾値以上の微小立方体だけを残して前記物体の３次元形状とするとよい。
また、上述の各手段をコンピュータ・システムに機能させて、画像列から物体の面情報を含んだ３次元形状モデルを生成する３次元形状モデル生成システムとして動作させることを特徴とするコンピュータ・プログラムも本発明である。
In the above three-dimensional shape model generation system, the voxel expression conversion means represents a three-dimensional space as a set of small cubes, and samples three-dimensional points at predetermined intervals from each three-dimensional line segment of the three-dimensional edge point set. , Obtaining a microcube whose position is closest to the three-dimensional point, registering the three-dimensional point in the microcube, and leaving only the microcubes whose number of three-dimensional points is equal to or greater than a predetermined threshold. A three-dimensional shape is preferable.
There is also provided a computer program that causes a computer system to function as the above-described means to operate as a three-dimensional shape model generation system that generates a three-dimensional shape model including surface information of an object from an image sequence. The present invention.
本発明によれば、多数のエッジ点をつないだ線分を用いるので、物体表面上に模様が無くても面情報の復元が安定してできるという効果がある。また、一部のエッジ点が隠れても、他のエッジ点でカバーできるため、面情報の復元が安定してできるという効果がある。また、面の境界線が曲線を含んでいても、正しく形状を復元できるという効果がある。 According to the present invention, since a line segment connecting a large number of edge points is used, the surface information can be stably restored even if there is no pattern on the object surface. In addition, even if some edge points are hidden, they can be covered with other edge points, so that the surface information can be stably restored. Further, there is an effect that the shape can be correctly restored even if the boundary line of the surface includes a curve.
＜概要＞
本発明では、カメラ画像列からカメラ運動と物体の３次元エッジが復元されているとし、それらを入力として、面情報を含んだ物体の３次元形状モデルを生成する。
カメラ運動と３次元エッジの復元には、種々の方法が考えられるが、たとえば、非特許文献４，５の方法がある。非特許文献４，５の方法では、単眼カメラ画像列に対して、少数の一意性の高い特徴点を画像間で追跡し、因子分解法と逆投影誤差最小化を用いて、カメラ運動を推定する。そして、このカメラ運動を用いて画像間でエッジ点の対応づけを行い、三角測量の原理を用いて３次元復元を行い、３次元エッジ点を求める。
<Overview>
In the present invention, it is assumed that the camera motion and the three-dimensional edge of the object are restored from the camera image sequence, and the three-dimensional shape model of the object including the surface information is generated using these as inputs.
Various methods are conceivable for camera motion and three-dimensional edge restoration. For example, there are methods disclosed in Non-Patent Documents 4 and 5. In the methods of Non-Patent Documents 4 and 5, for a monocular camera image sequence, a small number of highly unique feature points are tracked between images, and camera motion is estimated using factorization and back projection error minimization. To do. Then, this camera motion is used to associate edge points between images, and three-dimensional restoration is performed using the principle of triangulation to obtain a three-dimensional edge point.
本発明による３次元形状モデル生成システムは、前記問題に対処するため、エッジ点を結ぶ線分の集合で面を復元する。ここでは、この線分を面素線分と呼ぶ。
たとえば、図２に示すように、相対する２本のエッジの間に面素線分を張りつめ、そのエッジで構成される面を覆う。図２（ａ）では、エッジ点Ｐｉから放射状に相対するエッジに面素線分Ｓｉｊを並べて、面Ａの一部を覆っている。この処理をエッジ上の各点について行うことで、面全体を覆う。
この方法では、物体面が曲線をもっていても、その面が平面である限りは、図２ （ｂ）の円筒の上面のように面が正しく復元される。その面が曲面の場合でも、その境界エッジが明確であり、かつ、曲面の曲率が小さければ、図２（ｂ）の円筒の側面のように、よい近似が得られる。曲面の場合は、三角形パッチよりも、面素線分の方が曲面の隅々まで隙間なく覆うことが可能であるという利点がある。
なお、ここでは３次元の面素線分の例を示したが、後述するように、実際の処理では２次元の面素線分を生成した後、３次元に復元するという処理を行う。
The three-dimensional shape model generation system according to the present invention restores a surface by a set of line segments connecting edge points in order to cope with the above problem. Here, this line segment is called a surface element line segment.
For example, as shown in FIG. 2, a surface element segment is stretched between two opposing edges to cover a surface constituted by the edges. In FIG. 2A, the surface element line segments S ij are arranged on the edge radially opposite from the edge point P i to cover a part of the surface A. By performing this process for each point on the edge, the entire surface is covered.
In this method, even if the object surface has a curve, as long as the surface is a plane, the surface is correctly restored like the upper surface of the cylinder in FIG. Even when the surface is a curved surface, if the boundary edge is clear and the curvature of the curved surface is small, a good approximation can be obtained as in the side surface of the cylinder in FIG. In the case of a curved surface, there is an advantage that the surface element line segment can cover all corners of the curved surface without gaps, rather than the triangular patch.
Although an example of a three-dimensional surface element line segment is shown here, as will be described later, in an actual process, a two-dimensional surface element line segment is generated and then restored to three dimensions.
しかしながら、このようにして生成した面素線分は、あくまで仮説であり、そこが実際に面領域かどうかは１枚の画像からでは判定できない。そこで、入力画像列の各画像で矛盾が生じないかどうかを調べ、矛盾が生じる面素線分は除去するようにする。具体的には、３次元の面素線分を各画像に投影した際に、その投影像上に画像エッジ点が存在し、かつ、その画像エッジ点に対応する３次元エッジ点のカメラからの奥行が面素線分よりも遠い場合には矛盾が生じていると判定する(例えば図７参照：後で説明)。もし、この面素線分が正しいならば、そこに物体面があることになり、その面素線分よりもカメラから遠いエッジ点は、物体面に遮られて画像に写らないはずである。エッジ点が画像上で見えているということは、この面素線分が偽であるという証拠になる。この制約は可視性制約と呼ばれ、上述のパッチ補間法などでも利用されている。このように、可視性制約を利用すれば、偽の面素線分を除去し、与えられた画像列に矛盾しない物体の面情報を得ることができる。
最後に、多数の面素線分は互いに重複する部分が多いため、ボクセル表現に変換して、
全体のデータ量を減らす。
However, the surface element line segment generated in this way is only a hypothesis, and it cannot be determined from a single image whether it is actually a surface region. Therefore, it is checked whether or not there is a contradiction in each image of the input image sequence, and the surface element line segment causing the contradiction is removed. Specifically, when a three-dimensional surface element line segment is projected onto each image, an image edge point exists on the projected image, and a three-dimensional edge point corresponding to the image edge point from the camera. If the depth is farther than the surface segment, it is determined that a contradiction has occurred (for example, see FIG. 7: described later). If this surface element line segment is correct, an object surface is present, and an edge point farther from the camera than the surface element line segment should be blocked by the object surface and not appear in the image. The fact that the edge point is visible on the image is evidence that this surface element line segment is false. This restriction is called visibility restriction, and is also used in the above-described patch interpolation method and the like. In this way, by using the visibility constraint, it is possible to remove the fake surface segment and obtain the surface information of the object that is consistent with the given image sequence.
Finally, since many surface element segments overlap each other, convert it to a voxel representation,
Reduce overall data volume.
以上述べたように、エッジ点をつないだ面素線分を用いて面を復元する点が本発明の特徴である。これにより、発明の効果で述べたような効果が得られる。また、パッチ補間法では、なるべく均等なパッチを生成するために、ドロネー分割などの手法が必要であるが、面素線分はエッジ点をつなぐだけでよいので、非常に簡単な処理で生成できるという利点もある。 As described above, the feature of the present invention is that the surface is restored using the surface element segments connecting the edge points. Thereby, the effect as described in the effect of the invention can be obtained. In addition, the patch interpolation method requires a technique such as Delaunay division in order to generate as uniform patches as possible. However, since the surface segments need only be connected to edge points, they can be generated with very simple processing. There is also an advantage.
本発明の３次元形状モデル生成システムは、一括処理と逐次処理の２つの処理形態をもつ。一括処理は、画像列から生成した３次元エッジモデルを入力して、面情報を一括で生成するものである。逐次処理は、画像列を入力して３次元エッジモデルを逐次的に生成しながら、同時に面情報も逐次的に生成するものである。 The three-dimensional shape model generation system of the present invention has two processing forms: batch processing and sequential processing. The batch processing is to generate a plane information in a batch by inputting a three-dimensional edge model generated from an image sequence. In the sequential processing, the image information is input and the three-dimensional edge model is sequentially generated, while the surface information is also sequentially generated.
＜構成要素の説明＞
まず、図３を用いて、本発明で用いる物体モデルの構成例を説明する。
本発明の３次元形状モデル生成システムで作成される物体モデルのデータの構成例は、図３（ａ）に示すように、物体モデル名、３次元エッジモデル、画像情報列、および、ボクセル集合から構成される。物体モデル名はオペレータが物体に与えるもので、通常は対象物体に即した名前をつける。３次元エッジモデルは、画像列から復元した３次元エッジ点Ｐｉの集合である。画像情報列は、入力画像列から抽出された画像情報の列である。
画像情報は、図３（ｂ）に示すように、画像ＩＤ、カメラ姿勢、画像エッジ点集合から構成される。画像ＩＤは、対象とする画像を一意に示すＩＤである。カメラ姿勢は、この画像を撮影したときのカメラの姿勢であり、ある３次元座標系内の位置と方向を表す６個の変数からなる。座標系は任意でよいが、通常は、画像列の最初の画像を撮影したカメラ姿勢を原点にして設定される。画像エッジ点集合は、この画像から抽出された画像エッジ点情報の集合である。
<Description of components>
First, a configuration example of an object model used in the present invention will be described with reference to FIG.
As shown in FIG. 3A, a configuration example of data of an object model created by the three-dimensional shape model generation system of the present invention includes an object model name, a three-dimensional edge model, an image information sequence, and a voxel set. Composed. The object model name is given to the object by the operator, and a name corresponding to the target object is usually given. The three-dimensional edge model is a set of three-dimensional edge points P i restored from the image sequence. The image information sequence is a sequence of image information extracted from the input image sequence.
As shown in FIG. 3B, the image information includes an image ID, a camera posture, and an image edge point set. The image ID is an ID that uniquely indicates a target image. The camera posture is the posture of the camera when this image is taken, and consists of six variables representing the position and direction in a certain three-dimensional coordinate system. Although the coordinate system may be arbitrary, it is normally set with the camera posture at which the first image in the image sequence is taken as the origin. The image edge point set is a set of image edge point information extracted from this image.
画像エッジ点情報は、図３（ｃ）に示すように、エッジ点ＩＤ、画像ＩＤ、画像内での位置と方向から構成される。エッジ点ＩＤはエッジ点を一意に示すＩＤであり、各画像に現れる同一のエッジ点はすべて同じエッジ点ＩＤを持つ。また、対応する３次元エッジ点も同じエッジ点ＩＤを持つ。画像ＩＤは、この画像エッジ点が属する画像を示す画像ＩＤである。位置は、非特許文献６で提案されたＣａｎｎｙオペレータなどのエッジ抽出オペレータで求める。方向はその位置での画像の微分方向であり、やはりエッジ抽出オペレータにより求められる。 As shown in FIG. 3C, the image edge point information includes an edge point ID, an image ID, and a position and direction in the image. The edge point ID is an ID that uniquely indicates the edge point, and all the same edge points appearing in each image have the same edge point ID. Corresponding three-dimensional edge points also have the same edge point ID. The image ID is an image ID indicating an image to which the image edge point belongs. The position is obtained by an edge extraction operator such as the Canny operator proposed in Non-Patent Document 6. The direction is the differential direction of the image at that position and is also determined by the edge extraction operator.
３次元エッジ点情報は、図３（ｄ）に示すように、エッジ点ＩＤ、復元開始画像ＩＤ、３次元空間での位置から構成される。エッジ点ＩＤは、この３次元エッジ点を一意に示すＩＤであり、対応する画像エッジ点と同一のものである。復元開始画像ＩＤは、この３次元エッジ点が最初に復元された画像を示す画像ＩＤである。 As shown in FIG. 3D, the three-dimensional edge point information is composed of an edge point ID, a restoration start image ID, and a position in a three-dimensional space. The edge point ID is an ID that uniquely indicates the three-dimensional edge point, and is the same as the corresponding image edge point. The restoration start image ID is an image ID indicating an image in which this three-dimensional edge point is first restored.
＜一括処理の手順＞
図４にしたがい、本発明の３次元形状モデル生成システムの一括処理の一実施例を説明する。入力は、画像列、カメラ運動、３次元エッジ点集合Ｇである。一括処理では、ボクセル集合以外の情報は入力として与えられることになる。なお、画像列から３次元エッジ点の集合を作成することは、例えば、前述の非特許文献４，５に記載のように求めることができる。本発明は、これらの情報を用いて面素線分を作り、それから物体モデルのボクセル集合を生成するものである。
ここでのエッジ点の呼び方を次のように定める。あらかじめ、３次元エッジ点、および、それと対応する各画像上の画像エッジ点には、すべて同一の識別子（エッジＩＤ）を割り当てておくとする。したがって、３次元エッジ点をｑというエッジＩＤで表し、また、ある画像上で対応する画像エッジ点もｑというエッジＩＤで呼ぶ。
まず、３次元エッジ点集合Ｇからエッジ点ｑを１個取り出す（Ｓ１０２）。ステップＳ１０４において、同一の識別子を有するエッジ点ｑが現れる部分画像列Ｕを求める。部分画像列Ｕは、エッジ点ｑが最初に抽出された画像から最後に抽出された画像までの部分画像列である。
次に、ステップＳ１０６において、Ｕに含まれる各画像に対して、エッジ点ｑから出る面素線分を集め、面素線分集合Ｈに登録する。その方法は後述する。
<Batch processing procedure>
With reference to FIG. 4, an example of batch processing of the three-dimensional shape model generation system of the present invention will be described. The input is an image sequence, camera motion, and a three-dimensional edge point set G. In the batch processing, information other than the voxel set is given as input. The creation of a set of three-dimensional edge points from an image sequence can be obtained as described in Non-Patent Documents 4 and 5, for example. In the present invention, a surface element segment is created using these pieces of information, and a voxel set of an object model is generated therefrom.
The name of the edge point here is defined as follows. Assume that the same identifier (edge ID) is assigned to the three-dimensional edge point and the image edge point on each image corresponding thereto in advance. Therefore, a three-dimensional edge point is represented by an edge ID q, and a corresponding image edge point on an image is also called an edge ID q.
First, one edge point q is extracted from the three-dimensional edge point set G (S102). In step S104, a partial image sequence U in which an edge point q having the same identifier appears is obtained. The partial image sequence U is a partial image sequence from the image in which the edge point q is first extracted to the image extracted last.
Next, in step S <b> 106, for each image included in U, the surface element lines coming from the edge point q are collected and registered in the surface element line segment set H. The method will be described later.
ステップＳ１０８において、Ｈから面素線分ｈを取り出し、エッジ点ｑが現れる全画像で、面素線分ｈが可視性制約を満たすか調べる（ステップＳ１１０）。その方法は後述する。面素線分ｈが可視性制約を満たせば（Ｓ１１０でＹｅｓ）、ステップＳ１１２において、面素線分ｈを面素線分リストＬに登録する。面素線分ｈが可視性制約を満たされなければ（Ｓ１１０でＮｏ）、何もしない。
次に、ステップＳ１１４において、面素線分集合Ｈの中に、処理をまだ施していない面素線分があれば（Ｓ１１４でＮｏ）、ステップＳ１０８に戻る。全面素線分について処理していれば（Ｓ１１４でＹｅｓ）、ステップＳ１１６に移る。
次に、ステップＳ１１６において、３次元エッジ点集合Ｇに未処理のエッジ点が残っているか調べる。残っていれば（Ｓ１１６でＮｏ）、ステップＳ１０２に戻る。残っていなければ（Ｓ１１６でＹｅｓ）、ステップＳ１１８において、面素線分リストＬの各面素線分をボクセル表現に変換する。その方法は後述する。
In step S108, the surface element line segment h is extracted from H, and it is checked whether the surface element line segment h satisfies the visibility constraint in all images in which the edge point q appears (step S110). The method will be described later. If the surface element segment h satisfies the visibility constraint (Yes in S110), the surface element segment h is registered in the surface element segment list L in step S112. If the surface segment h does not satisfy the visibility constraint (No in S110), nothing is done.
Next, in step S114, if there is an unprocessed surface element segment in the surface element segment set H (No in S114), the process returns to step S108. If the entire surface strand has been processed (Yes in S114), the process proceeds to step S116.
Next, in step S116, it is checked whether an unprocessed edge point remains in the three-dimensional edge point set G. If it remains (No in S116), the process returns to step S102. If not (Yes in S116), each surface element line segment in the surface element line segment list L is converted into a voxel expression in step S118. The method will be described later.
＜逐次処理の手順＞
図５にしたがい、本発明の３次元形状モデル生成システムの逐次処理の一実施例を説明する。入力は、画像列内の一枚の画像（現在画像と呼ぶ）である。以下で説明する逐次処理では、ボクセル集合以外の情報はステップＳ２０１等で生成される。本発明は、これらの情報を用いて面素線分を作り、それから物体モデルのボクセル集合を生成するものである。
<Sequential processing procedure>
With reference to FIG. 5, an embodiment of the sequential processing of the three-dimensional shape model generation system of the present invention will be described. The input is a single image (referred to as the current image) in the image sequence. In the sequential processing described below, information other than the voxel set is generated in step S201 and the like. In the present invention, a surface element segment is created using these pieces of information, and a voxel set of an object model is generated therefrom.
まず、ステップＳ２０１において、現在画像とこれまでの画像から、現在画像に現れる
エッジ点および現在画像を撮影したカメラ姿勢を復元する。この復元処理には、たとえば、非特許文献４，５で提案された方法を用いる。復元された３次元エッジ点の集合をＧとする。次に、ステップＳ２０２において、３次元エッジ点集合Ｇからエッジ点ｑを１個取り出す。次に、ステップＳ２０３において、同一の識別子を有するエッジ点ｑが現在画像で初めて復元されたエッジ点かどうかを調べる。エッジ点ｑが初めて復元された場合（Ｓ２０３でＹｅｓ）は、ステップＳ２０４で、エッジ点ｑが初めて抽出された画像から現在画像までの各画像で、エッジ点ｑから出る面素線分を作り、集合Ｈ（ｑ）に格納する。エッジ点ｑが初めて復元されたのではない場合は（Ｓ２０３でＮｏ）、ステップＳ２０５において、現在画像でエッジ点ｑから出る面素線分を作り、集合Ｈ（ｑ）に追加する。
First, in step S201, the edge point appearing in the current image and the camera posture that captured the current image are restored from the current image and the previous images. For this restoration process, for example, the methods proposed in Non-Patent Documents 4 and 5 are used. Let G be a set of restored three-dimensional edge points. Next, in step S202, one edge point q is extracted from the three-dimensional edge point set G. Next, in step S203, it is checked whether or not the edge point q having the same identifier is an edge point restored for the first time in the current image. When the edge point q is restored for the first time (Yes in S203), in step S204, a surface element segment that emerges from the edge point q is created in each image from the image from which the edge point q is first extracted to the current image, Store in set H (q). If the edge point q is not restored for the first time (No in S203), in step S205, a surface element line segment coming out from the edge point q in the current image is created and added to the set H (q).
次に、ステップＳ２０６において、集合Ｈ（ｑ）から面素線分ｈを１個取り出す。次に、ステップＳ２０７において、エッジ点ｑが現れる全画像で、面素線分ｈが可視性制約を満たすか調べる。面素線分ｈが可視性制約を満たさなければ（Ｓ２０７でＮｏ）、ステップＳ２０８において、面素成分ｈを集合Ｈ（ｑ）から削除する。面素成分ｈが可視性制約を満たせば（Ｓ２０７でＹｅｓ）、何もしないでステップＳ２０９に移る。
次に、ステップＳ２０９において、集合Ｈ（ｑ）の中にステップＳ２０６からステップＳ２０８までの処理をまだ施していない面素線分があれば（Ｓ２０９でＮｏ）、ステップＳ２０６に戻る。全面素線分について処理していれば（Ｓ２０９でＹｅｓ）、ステップＳ２１０に移る。次に、ステップＳ２１０において、３次元エッジ点集合Ｇに未処理のエッジ点が残っているか調べる。残っていれば（Ｓ２１０でＮｏ）、ステップＳ２０２に戻る。残っていなければ（Ｓ２１０でＹｅｓ）、ステップＳ２１１において、各エッジ点ｑの面素線分Ｈ（ｑ）をボクセル表現に変換する。
この処理を画像列内の各画像に繰り返し適用することで、逐次的に面情報を生成することができる。この一連の処理の間、面素線分集合Ｈ（ｑ）は保持しておく。すなわち、現画像の処理で用いたＨ（ｑ）を次画像の処理に引き継いで用いる。これにより、Ｈ（ｑ）の中の偽面素線分を可視性制約によって徐々に削除していくことができる。
Next, in step S206, one surface element segment h is extracted from the set H (q). Next, in step S207, it is checked whether or not the surface element line segment h satisfies the visibility constraint in all images in which the edge point q appears. If the surface element line segment h does not satisfy the visibility constraint (No in S207), the surface element component h is deleted from the set H (q) in step S208. If the surface element component h satisfies the visibility constraint (Yes in S207), the process proceeds to step S209 without doing anything.
Next, in step S209, if there is a surface element segment that has not been subjected to the processing from step S206 to step S208 in the set H (q) (No in S209), the process returns to step S206. If the entire surface strand is processed (Yes in S209), the process proceeds to step S210. Next, in step S210, it is checked whether an unprocessed edge point remains in the three-dimensional edge point set G. If it remains (No in S210), the process returns to step S202. If not (Yes in S210), the surface element line segment H (q) of each edge point q is converted into a voxel expression in step S211.
By repeatedly applying this process to each image in the image sequence, the surface information can be generated sequentially. During this series of processing, the surface element segment set H (q) is retained. That is, H (q) used in the current image processing is used in succession to the next image processing. As a result, the pseudo-plane line segments in H (q) can be gradually deleted due to the visibility constraint.
ステップＳ２０４で、エッジ点ｑが初めて抽出された画像まで遡るのは、次の理由による。エッジ点ｑは、その復元誤差が充分に小さくなってから、集合Ｇに登録される。復元誤差を小さくするには、充分な基線長（カメラ間距離）が必要である。そのため、エッジ点ｑが最初に復元される画像は、一般に、エッジ点ｑが最初に現れる画像よりも後に撮影されたものになる。一方、エッジ点ｑから出る面素線分の可視性制約の判定は、エッジ点ｑが現れるすべての画像で行う必要がある。
そのため、ステップＳ２０４でエッジ点ｑが抽出された最初の画像まで遡り、そこから現在画像までの部分画像列で可視性制約の判定を行う。ｑが初めて復元されたときにこの処理を一回行えば、次からは、ステップＳ２０５のように、現在画像での面素線分だけをＨ（ｑ）に追加していけばよい。
In step S204, the reason that the edge point q is traced back to the first extracted image is as follows. The edge point q is registered in the set G after its restoration error becomes sufficiently small. In order to reduce the restoration error, a sufficient baseline length (inter-camera distance) is necessary. Therefore, the image in which the edge point q is first restored is generally taken after the image in which the edge point q first appears. On the other hand, it is necessary to determine the visibility restriction of the surface segment from the edge point q for all images in which the edge point q appears.
Therefore, the process goes back to the first image from which the edge point q is extracted in step S204, and the visibility constraint is determined on the partial image sequence from there to the current image. If this process is performed once when q is restored for the first time, only the surface element line segment in the current image needs to be added to H (q) as in step S205.
＜面素線分の生成（Ｓ１０６，Ｓ２０４参照）＞
図６を用いて、面素線分を生成する処理（Ｓ１０６，Ｓ２０４）を説明する。まず、３次元空間では、図６（ａ）のように、３次元エッジ点ＰｉとＰｊをつないで面素線分Ｓｉｊを作る。各３次元エッジ点についてこのような面素線分の集合を作り、面を覆うことで、面情報を含んだ３次元形状モデルを生成することができる。
ところが、すべての３次元エッジ点の組に対して上記処理を施すと、膨大な数の面素
線分が生成されてしまう。１つの物体モデルは、通常、数千個から数万個のエッジ点で
構成されるが、エッジ点の組はその二乗になるため、膨大な個数になる。しかも、その
大部分は可視性制約によって削除されてしまうので、効率が非常に悪い。
そこで、３次元エッジ点を直接つなぐのではなく、図６（ｂ）のように、画像エッジ点
をつなぐようにする。図６（ｂ）は、エッジ点ＰｉとＰｊをつないだ３次元面素線分Ｓｉｊに対応する、画像エッジ点ｐｉとｐｊをつないだ２次元面素線分ｓｉｊを示している。
画像エッジ点ｐｉからの面素線分の生成は次のように行う。対応する３次元エッジ点をもつ画像エッジ点の集合をＥｃと記す。画像エッジ点ｐｉ∈Ｅｃから出る線分を次のように生成する。まず、微分画像からｐｉにおけるエッジ法線ｎｉの方向ｄを求め、ｐｉから方向ｄ＋ａに直線を伸ばして、他の画像エッジとの最初の交点ｐｊを求める。そして、画像エッジ点ｐｊがＥｃに属するならば、ｐｉとｐｊをつないだ面素線分ｓｉｊを生成する。ｐｊがＥｃに属さないならば、ｐｊの３次元復元がないので何もしない。
この処理を、ｐｉから伸ばす直線の方向を［−ａ０，ａ０］の範囲内で変化させながら繰り返す。反対方向−（ｄ＋ａ）にも同様の処理を行う。
最後に、各ｓｉｊに対する３次元面素線分Ｓｉｊを生成する。
<Generation of surface segment (see S106, S204)>
The process (S106, S204) which produces | generates a surface element line segment is demonstrated using FIG. First, in the three-dimensional space, as shown in FIG. 6A, the three-dimensional edge points P i and P j are connected to create a surface element line segment S ij . By creating such a set of surface element segments for each three-dimensional edge point and covering the surface, a three-dimensional shape model including surface information can be generated.
However, if the above processing is applied to all sets of three-dimensional edge points, an enormous number of surface element line segments are generated. One object model is usually composed of several thousand to several tens of thousands of edge points, but the set of edge points is the square of the number of edge points. Moreover, most of them are deleted due to the visibility constraint, so the efficiency is very low.
Therefore, instead of directly connecting the three-dimensional edge points, the image edge points are connected as shown in FIG. FIG. 6B shows a two-dimensional surface segment s ij connecting the image edge points p i and p j corresponding to the three-dimensional surface segment S ij connecting the edge points P i and P j. ing.
Generation of surface elements line segment from the image edge point p i is performed as follows. A set of image edge points having a corresponding three-dimensional edge point is denoted as Ec. A line segment from the image edge point piεEc is generated as follows. First, the direction d of the edge normal n i at pi is obtained from the differential image, a straight line is extended from p i to the direction d + a, and the first intersection p j with another image edge is obtained. If the image edge point p j belongs to Ec, a surface element line segment s ij connecting p i and p j is generated. If pj does not belong to Ec, nothing is done because there is no three-dimensional reconstruction of pj.
This process is repeated while changing the direction of the straight line extending from pi within the range of [−a 0 , a 0 ]. Similar processing is performed in the opposite direction-(d + a).
Finally, to generate a three-dimensional surface containing the line segment S ij for each s ij.
＜可視性制約の判定＞
図７を用いて、可視性制約を説明する。
上述のように生成した面素線分の中には、本来は平面がない領域に張られた偽線分が含まれる可能性がある。これに対処するために、可視性制約を用いる。可視性制約とは、画像に写っている点とカメラ中心とを結ぶ３次元線分上には、不透明な物体は存在しないという制約である。
図７の例では、３次元点Ｐが画像上で画像エッジ点ｐとして見えているので、カメラ中心ＣとＰを結んだ３次元線分上には、不透明な物体は存在しないはずである。したがって、図７に描かれているｐｉとｐｊの間に張った面素線分ｓｉｊは偽線分である。なぜなら、ｓｉｊに対応する３次元線分がＣとＰを結んだ３次元線分上と交点Ｂで交わっており、しかも、ＢがＰよりもＣに近いため、可視性制約に反するからである。
<Visibility constraint judgment>
The visibility constraint will be described with reference to FIG.
There is a possibility that a false line segment stretched in an area that does not originally have a plane is included in the surface element line segment generated as described above. To deal with this, we use visibility constraints. The visibility constraint is a constraint that an opaque object does not exist on a three-dimensional line segment connecting the point shown in the image and the camera center.
In the example of FIG. 7, since the three-dimensional point P is seen as the image edge point p on the image, there should be no opaque object on the three-dimensional line segment connecting the camera centers C and P. Therefore, surface elements segment s ij strung between p i and p j depicted in FIG. 7 is a false line. This is because the three-dimensional line segment corresponding to s ij intersects the three-dimensional line segment connecting C and P at the intersection B, and because B is closer to C than P, it violates the visibility constraint. is there.
画像エッジ点ｐｉとｐｊをつないだ面素線分ｓｉｊに対する可視性制約は次のように調べる。
面素成分ｓｉｊに対応する３次元面素線分をＳｉｊとする。画像エッジ点ｐｉからｐｊまでの面素線分ｓｉｊ上の各画素に対して、その位置に画像エッジ点があるかどうかを調べる。もしあれば、その画像エッジ点ｐが３次元復元されているかどうかを調べる。画像エッジ点ｐが３次元復元されていれば、その３次元エッジ点Ｐのカメラから見た奥行がＳｉｊの奥行よりも大きい場合に、面素線分ｓｉｊは偽線分と判定する。ここで、３次元面素線分Ｓｉｊの奥行は、カメラ中心ＣとＰを結ぶ直線と３次元面素成分Ｓｉｊの交点Ｂの奥行で定義する。ｐが３次元復元されていなければ何もしない。
The visibility constraint for the surface element line segment s ij connecting the image edge points p i and p j is examined as follows.
A three-dimensional surface element line segment corresponding to the surface element component s ij is defined as S ij . For each pixel on the surface element line segment s ij from the image edge point p i to p j, it is checked whether there is an image edge point at that position. If there is, it is checked whether or not the image edge point p is three-dimensionally restored. If the image edge point p is three-dimensionally restored, the surface element line segment s ij is determined to be a false line segment when the depth of the three-dimensional edge point P viewed from the camera is larger than the depth of S ij . Here, the depth of the three-dimensional surface element line segment S ij is defined by the depth of the intersection B between the straight line connecting the camera centers C and P and the three-dimensional surface element component S ij . If p is not restored three-dimensionally, nothing is done.
＜ボクセル表現への変換＞
多くの面素線分は重複しているため、面素線分の集合で平面を構成すると冗長性が高
くなる。これに対処するため、面素線分をボクセル表現に変換する。ボクセルは微小な
立方体であり、その集合で物体を近似的に表す。ボクセルのサイズは、物体を必要な精
度で表現できる程度に小さく設定する。
まず、３次元空間をボクセル集合で分割して表す。そして、３次元面素線分から適当な間隔で３次元点Ｐをサンプリングしてボクセル集合に登録する。
具体的には、Ｐの位置に最も近い中心点をもつボクセルを求め、そのボクセルのスコアを１つ増やす。これをすべての３次元面素線分について繰り返す。そして、スコアが所定の閾値以上のボクセルだけを残す。こうすると、３次元面素線分が存在する領域のボクセルだけが残るので、物体の面情報をボクセルの集合で表すことができる。また、近くに重複して存在する面素線分上の点は１個のボクセルに統合されるので、データ量を大幅に削減することができる。
<Conversion to voxel expression>
Since many surface element segments overlap, if a plane is composed of a set of surface element segments, redundancy increases. In order to cope with this, the surface segment is converted into a voxel expression. A voxel is a small cube, and an object is approximately represented by a set of voxels. The size of the voxel is set small enough to represent the object with the required accuracy.
First, a three-dimensional space is represented by being divided into voxel sets. Then, three-dimensional points P are sampled from the three-dimensional surface element segments at appropriate intervals and registered in the voxel set.
Specifically, a voxel having a center point closest to the position of P is obtained, and the score of that voxel is increased by one. This is repeated for all three-dimensional surface element segments. Then, only voxels whose scores are equal to or greater than a predetermined threshold are left. In this way, since only the voxels in the region where the three-dimensional surface element segment exists exist, the surface information of the object can be represented by a set of voxels. Further, since the points on the surface line segments that overlap in the vicinity are integrated into one voxel, the amount of data can be greatly reduced.
＜動作例＞
本発明による３次元形状モデルの生成例を図８に示す。図８−１（ａ）〜（ｄ）は、復元に用いた３０枚の画像列の一部である。図８−２（ａ）〜（ｃ）は、これらの画像から復元した３次元エッジ点群である。図８−３（ａ）〜（ｃ）は、本発明の方法により生成した面情報を含んだ３次元形状モデルである。机の上面など、比較的大きくて模様のない平面がうまく復元されていることがわかる。
他の３次元形状モデルの生成例を図９に示す。図９−１（ａ）〜（ｃ）は、復元に用いた３０枚の画像列の一部である。図９−２（ａ）〜（ｃ）は、本発明の方法により生成した面情報を含んだ３次元形状モデルである。円形の椅子がうまく復元されていることがわかる。
<Operation example>
An example of generating a three-dimensional shape model according to the present invention is shown in FIG. FIGS. 8A to 8D are a part of the 30 image sequences used for restoration. FIGS. 8A to 8C show a three-dimensional edge point group restored from these images. 8A to 8C are three-dimensional shape models including surface information generated by the method of the present invention. It can be seen that a relatively large and unpatterned plane such as the top of the desk has been successfully restored.
An example of generating another three-dimensional shape model is shown in FIG. FIGS. 9-1 (a) to (c) are a part of the 30 image sequences used for restoration. FIGS. 9-2 (a) to (c) are three-dimensional shape models including surface information generated by the method of the present invention. It can be seen that the circular chair has been successfully restored.
本発明は、例えば、ロボットや移動体の環境認識に用いる物体の形状モデルの生成、あるいは、ＣＡＤ、コンピュータグラフィクス、人工現実感などで用いる物体の形状モデルの生成などに利用することができる。 The present invention can be used, for example, to generate a shape model of an object used for environment recognition of a robot or a moving body, or to generate a shape model of an object used for CAD, computer graphics, artificial reality, or the like.
Claims (6)
該画像列から、画像エッジ点と対応づけて３次元復元した該物体の３次元エッジ点の各々について、該対応する画像エッジ点が現れる部分画像列を抽出する部分画像列抽出手段と、
該部分画像列抽出手段からの部分画像列の各画像上で、対応する３次元エッジ点を有する前記画像エッジ点のある点から直線を伸ばし、最初に当たった画像エッジ点との間に線分を張り、該画像エッジ点が対応する３次元エッジ点を有していれば該線分を２次元面素線分とし、最終的に各２次元面素線分に対応する３次元面素線分を生成する３次元面素線分生成手段と、
該３次元面素線分の集合を前記物体の面を構成するボクセル表現に変換するボクセル表現変換手段とを備え、
物体の面情報を含んだ３次元形状モデルを出力することを特徴とする３次元形状モデル生成システム。 In a 3D shape model generation system for generating a 3D shape model including surface information of an object from an image sequence,
From the image sequence, for each of the three-dimensional edge points in association with the image edge point three-dimensional restored said object, a partial image sequence extracting means for extracting a partial image sequence the corresponding image edge point appears,
On partial partial image sequence each image from the image sequence extraction means, extending the straight line from a point of said image edge point having a corresponding three-dimensional edge points, line segments between the first image edge points hit tension, as long as it has a three-dimensional edge points to which the image edge point corresponding to the line segments is a two-dimensional surface elements line, finally three-dimensional surface elements line corresponding to each of the two-dimensional plane containing a line segment Three-dimensional surface segment generating means for generating a component;
Voxel expression conversion means for converting the set of three-dimensional surface element line segments into voxel expressions constituting the surface of the object;
A three-dimensional shape model generation system that outputs a three-dimensional shape model including surface information of an object.
現在画像と以前の画像とから、画像エッジ点と該物体の３次元エッジ点とを対応付けして３次元復元する３次元エッジ点復元手段と、
該３次元エッジ点復元手段で復元した３次元エッジ点の各々について、該３次元エッジ点が初めて復元されたならば、該３次元エッジ点に対応する画像エッジ点が初めて抽出された画像から現在画像までの各画像において、該３次元エッジ点と対応する画像エッジ点と、他の３次元エッジ点に対応する画像エッジ点との間に２次元線分を張り、該３次元エッジ点が初めて復元されたのでなければ、現在画像において、該３次元エッジ点と対応する画像エッジ点と他の３次元エッジ点に対応する画像エッジ点との間に２次元線分を張って、該２次元線分に対応する３次元面素線分の集合を生成する３次元面素線分生成手段と、
該３次元面素線分の集合を前記物体の面を構成するボクセル表現に変換するボクセル表現変換手段とを備え、
順次画像列の画像を処理して、物体の面情報を含んだ３次元形状モデルを出力することを特徴とする３次元形状モデル生成システム。 In a three-dimensional shape model generation system that inputs images to be processed one by one from an image sequence and generates a three-dimensional shape model including surface information of an object from the image sequence,
From the current image and the previous image, and the three-dimensional edge point restoring means for restoring three-dimensional by association with 3-dimensional edge points of the image edge points and said object,
For each of the three-dimensional edge points restored by the three- dimensional edge point restoration means, if the three-dimensional edge point is restored for the first time , an image edge point corresponding to the three-dimensional edge point is currently extracted from the first extracted image. in each image to the image, and the image edge points and corresponding three-dimensional edge point the, span the 2-dimensional line segment between the image edge point corresponding to the other three-dimensional edge points, the three-dimensional edge points for the first time unless recovered, in the current image, Put the 2-dimensional line segment between the image edge point corresponding to the image edge points and other three-dimensional edge points corresponding to the three-dimensional edge point said, the two-dimensional Three-dimensional surface element line generation means for generating a set of three-dimensional surface element line segments corresponding to the line segments;
Voxel expression conversion means for converting the set of three-dimensional surface element line segments into voxel expressions constituting the surface of the object;
A three-dimensional shape model generation system characterized by sequentially processing images in an image sequence and outputting a three-dimensional shape model including surface information of an object.
該可視性制約判定手段は、３次元面素線分に対応する２次元面素線分が存在する各画像上で、生成した３次元面素線分に対応する２次元面素線分上の各画素に対して、画像エッジ点があるかを調べ、あった場合は、その画像エッジ点の対応する３次元エッジ点のカメラから見た奥行が該３次元面素線分より大きい場合は、該３次元面素線分を排除することを特徴とする請求項１または２に記載の３次元形状モデル生成システム。 The visibility constraint determination means is provided on the two-dimensional surface element segment corresponding to the generated three-dimensional surface element segment on each image in which the two-dimensional surface element segment corresponding to the three-dimensional surface element segment exists. If there is an image edge point for each pixel, and if there is, the depth of the image edge point corresponding to the 3D edge point viewed from the camera is greater than the 3D surface segment, 3. The three-dimensional shape model generation system according to claim 1, wherein the three-dimensional surface element line segment is excluded.
前記３次元エッジ点集合の各３次元線分から所定の間隔で３次元点をサンプリングし、
該３次元点に位置が最も近い微小立方体を求めて、該微小立方体に該３次元点を登録して、
該３次元点の個数が所定の閾値以上の微小立方体だけを残して前記物体の３次元形状とする
ことを特徴とする請求項１〜３のいずれかに記載の３次元形状モデル生成システム。 The voxel representation conversion means represents a three-dimensional space as a set of microcubes,
Sampling 3D points at predetermined intervals from each 3D line segment of the 3D edge point set;
Find the microcube whose position is closest to the three-dimensional point, register the three-dimensional point in the microcube,
The three-dimensional shape model generation system according to any one of claims 1 to 3, wherein the three-dimensional shape of the object is made by leaving only a small cube having the number of three-dimensional points equal to or greater than a predetermined threshold.
画像列から、画像エッジ点と対応づけて３次元復元した該物体の３次元エッジ点の各々について、対応する画像エッジ点が現れる部分画像列を抽出する部分画像列抽出手段と、
該部分画像列抽出手段からの部分画像列の各画像上で、対応する３次元エッジ点を有する前記画像エッジ点のある点と、エッジ法線の方向の他の画像エッジ点との間に線分を張り、該画像エッジ点が対応する３次元エッジ点を有していれば該線分を２次元面素線分とし、最終的に各２次元面素線分に対応する３次元面素線分を生成する３次元面素線分生成手段と、
該３次元面素線分の集合を前記物体の面を構成するボクセル表現に変換するボクセル表現変換手段として機能させ、
画像列から物体の面情報を含んだ３次元形状モデルを生成する３次元形状モデル生成システムとして動作させることを特徴とするコンピュータ・プログラム。 Computer system
From images, for each of the three-dimensional edge points in association with the image edge point three-dimensional restored said object, a partial image sequence extracting means for extracting a partial image sequence corresponding image edge point appears,
On each image of the partial image sequence from the partial image sequence extracting means, a line is formed between a point where the image edge point has a corresponding three-dimensional edge point and another image edge point in the direction of the edge normal. If the image edge point has a corresponding three-dimensional edge point, the line segment is defined as a two-dimensional surface element line segment, and finally a three-dimensional surface element corresponding to each two-dimensional surface element line segment. Three-dimensional surface element line generating means for generating a line segment;
Functioning as a voxel expression conversion means for converting the set of three-dimensional surface element line segments into a voxel expression constituting the surface of the object;
A computer program that operates as a three-dimensional shape model generation system that generates a three-dimensional shape model including surface information of an object from an image sequence.
現在画像と以前の画像とから、画像エッジ点と該物体の３次元エッジ点とを対応付けて３次元復元する３次元エッジ点復元手段と、
該３次元エッジ点復元手段で復元した３次元エッジ点の各々について、該３次元エッジ点が初めて復元されたならば、該３次元エッジ点に対応する画像エッジ点が初めて抽出された画像から現在画像までの各画像において、該３次元エッジ点と対応する画像エッジ点と、他の３次元エッジ点に対応する画像エッジ点との間に２次元線分を張り、該３次元エッジ点が初めて復元されたのでなければ、現在画像において、該３次元エッジ点と対応する画像エッジ点と他の３次元エッジ点に対応する画像エッジ点との間に２次元線分を張って、該２次元線分に対応する３次元面素線分の集合を生成する３次元面素線分生成手段と、
該３次元面素線分の集合を前記物体の面を構成するボクセル表現に変換するボクセル表現変換手段として機能させ、
順次画像列の画像を処理して、物体の面情報を含んだ３次元形状モデルを出力する３次元形状モデル生成システムとして動作させることを特徴とするコンピュータ・プログラム。 Computer system
3D edge point restoration means for 3D restoration by associating an image edge point with a 3D edge point of the object from a current image and a previous image;
For each of the three-dimensional edge points restored by the three- dimensional edge point restoration means, if the three-dimensional edge point is restored for the first time , an image edge point corresponding to the three-dimensional edge point is currently extracted from the first extracted image. in each image to the image, and the image edge points and corresponding three-dimensional edge point the, span the 2-dimensional line segment between the image edge point corresponding to the other three-dimensional edge points, the three-dimensional edge points for the first time unless recovered, in the current image, Put the 2-dimensional line segment between the image edge point corresponding to the image edge points and other three-dimensional edge points corresponding to the three-dimensional edge point said, the two-dimensional Three-dimensional surface element line generation means for generating a set of three-dimensional surface element line segments corresponding to the line segments;
Functioning as a voxel expression conversion means for converting the set of three-dimensional surface element line segments into a voxel expression constituting the surface of the object;
A computer program that operates as a three-dimensional shape model generation system that sequentially processes images of an image sequence and outputs a three-dimensional shape model including surface information of an object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006071856A JP4714050B2 (en) | 2006-03-15 | 2006-03-15 | 3D shape model generation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006071856A JP4714050B2 (en) | 2006-03-15 | 2006-03-15 | 3D shape model generation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007249591A JP2007249591A (en) | 2007-09-27 |
| JP4714050B2 true JP4714050B2 (en) | 2011-06-29 |
Family
ID=38593814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006071856A Expired - Fee Related JP4714050B2 (en) | 2006-03-15 | 2006-03-15 | 3D shape model generation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4714050B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2392229B1 (en) | 2010-08-27 | 2013-10-16 | Telefónica, S.A. | METHOD OF GENERATING A MODEL OF A FLAT OBJECT FROM VIEWS OF THE OBJECT. |
| JP7230722B2 (en) | 2019-07-24 | 2023-03-01 | 富士通株式会社 | Image processing device and image processing method |
| CN114119835B (en) * | 2021-12-03 | 2022-11-08 | 北京冰封互娱科技有限公司 | Hard surface model processing method and device and electronic equipment |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032744A (en) * | 2000-07-14 | 2002-01-31 | Komatsu Ltd | Device and method for three-dimensional modeling and three-dimensional image generation |
| JP2002288687A (en) * | 2001-03-22 | 2002-10-04 | Olympus Optical Co Ltd | Device and method for calculating feature amount |
| JP2003090714A (en) * | 2001-09-18 | 2003-03-28 | Shigenori Tanaka | Image processor and image processing program |
-
2006
- 2006-03-15 JP JP2006071856A patent/JP4714050B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002032744A (en) * | 2000-07-14 | 2002-01-31 | Komatsu Ltd | Device and method for three-dimensional modeling and three-dimensional image generation |
| JP2002288687A (en) * | 2001-03-22 | 2002-10-04 | Olympus Optical Co Ltd | Device and method for calculating feature amount |
| JP2003090714A (en) * | 2001-09-18 | 2003-03-28 | Shigenori Tanaka | Image processor and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007249591A (en) | 2007-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102647351B1 (en) | Modeling method and modeling apparatus using 3d point cloud | |
| CN113178009B (en) | Indoor three-dimensional reconstruction method utilizing point cloud segmentation and grid repair | |
| EP3326156B1 (en) | Consistent tessellation via topology-aware surface tracking | |
| CN107924571A (en) | Three-dimensional reconstruction is carried out to human ear from a cloud | |
| KR20190101382A (en) | Method and device for joint segmentation and 3D reconstruction of scenes | |
| CN106023147B (en) | The method and device of DSM in a kind of rapidly extracting linear array remote sensing image based on GPU | |
| CN110176079B (en) | Three-dimensional model deformation algorithm based on quasi-conformal mapping | |
| F Laefer et al. | Processing of terrestrial laser scanning point cloud data for computational modelling of building facades | |
| KR102223484B1 (en) | System and method for 3D model generation of cut slopes without vegetation | |
| KR101593316B1 (en) | Method and apparatus for recontructing 3-dimension model using stereo camera | |
| JP4714050B2 (en) | 3D shape model generation system | |
| JP2008310724A (en) | Three-dimensional shape restoration device, three-dimensional shape restoration method, three-dimensional shape restoration program and recording medium with its program stored | |
| CN116051980B (en) | Building identification method, system, electronic equipment and medium based on oblique photography | |
| CN112465984A (en) | Monocular camera sequence image three-dimensional reconstruction method based on double-layer filtering | |
| CN115222895B (en) | Image generation method, device, equipment and storage medium | |
| Ruchay et al. | Accuracy analysis of surface reconstruction from point clouds | |
| JP4978941B2 (en) | Three-dimensional modeling apparatus, method and program | |
| JP5620741B2 (en) | Information processing apparatus, information processing method, and program | |
| Pénard et al. | 3D building facade reconstruction under mesh form from multiple wide angle views | |
| KR100310820B1 (en) | Contour Extraction Method of Stereo Images Using Sensor Model and Image Matching | |
| Ruchay et al. | Accuracy analysis of 3d object reconstruction using mesh filtering | |
| Yang et al. | Image-based 3D semantic modeling of building facade | |
| Mijakovska et al. | Triangulation Method in Process of 3D Modelling from Video | |
| Salman et al. | High resolution surface reconstruction from overlapping multiple-views | |
| Chiang et al. | Visual Hull Refinement with Hierarchical Clustering Deformation for 3-D Reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101112 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110325 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees | ||
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |