JP3221384B2 - 3D coordinate measuring device - Google Patents
3D coordinate measuring deviceInfo
- Publication number
- JP3221384B2 JP3221384B2 JP00186998A JP186998A JP3221384B2 JP 3221384 B2 JP3221384 B2 JP 3221384B2 JP 00186998 A JP00186998 A JP 00186998A JP 186998 A JP186998 A JP 186998A JP 3221384 B2 JP3221384 B2 JP 3221384B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging position
- unit
- feature point
- input unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、撮像装置で物体や
風景を撮影し、撮像装置の位置と物体や風景の特徴点の
三次元座標の計測を行う三次元座標計測装置に関する。[0001] 1. Field of the Invention [0002] The present invention relates to a three-dimensional coordinate measuring apparatus for photographing an object or a landscape with an imaging device and measuring the three-dimensional coordinates of the position of the imaging device and the characteristic points of the object or landscape.
【０００２】[0002]
【従来の技術】従来、画像中の物体の三次元座標を計測
する手法として、例えば、特開昭６１−２８６９７９号
公報に記載されているように、三角測量の原理により画
素の三次元座標を計測する手法がある。この計測手法
は、２台の撮像装置で撮影した画像の画素の対応を探索
し、画素の対応と撮像装置の位置関係から三角測量の原
理により画素の三次元座標を計測する手法である。2. Description of the Related Art Conventionally, as a method for measuring the three-dimensional coordinates of an object in an image, for example, as described in Japanese Patent Application Laid-Open No. 61-286979, the three-dimensional coordinates of a pixel are calculated based on the principle of triangulation. There is a measuring method. This measurement method is a method of searching for correspondence between pixels of images captured by two imaging devices and measuring three-dimensional coordinates of the pixels based on the principle of triangulation from the correspondence between the pixels and the positional relationship between the imaging devices.
【０００３】一方、複数の撮像装置から撮影した画像中
の特徴点の対応関係から撮像装置位置関係を計測する手
法がある。On the other hand, there is a method of measuring the positional relationship between image pickup devices from the correspondence between feature points in images captured by a plurality of image pickup devices.
【０００４】その一つは、例えば、IEEE Transaction o
n Pattern Analysis and Machine Intelligence(Jan.19
90, pp.28-37) でY.Liu が提案しているように、三次元
情報が既知である物体を使用して、その物体の特徴点が
画像中に撮影されている位置から撮像装置の位置を計算
するという手法である。この手法では物体の三次元点と
画像中の画素の対応を三点以上求めることで、物体とカ
メラの位置関係を求めることができる。One of them is, for example, IEEE Transaction o.
n Pattern Analysis and Machine Intelligence (Jan.19
90, pp. 28-37), as proposed by Y. Liu, using an object whose three-dimensional information is known, the imaging device starts from the position where the feature points of the object are captured in the image. Is the method of calculating the position of In this method, the positional relationship between the object and the camera can be obtained by obtaining three or more correspondences between the three-dimensional point of the object and the pixels in the image.
【０００５】もう一つは、三次元情報が既知の物体を使
用せず、画像に撮影されている特徴点の対応だけで撮像
装置の位置を計算する手法であり、代表的な手法とし
て、電子情報通信学会論文誌D-II (1993年 8月, pp1497
-1505)で金出が提案している因子分解法がある。この手
法では、正射影で画像を撮影することができる撮像装置
を用いて画像を撮影し、三枚以上の正射影画像に撮影さ
れている特徴点の対応がわかればその画像を撮影した撮
像装置の位置と特徴点の三次元座標が計算できるという
手法である。また、正射影画像を撮影する撮像装置でな
く、透視投影画像を撮影する撮像装置であっても、対象
物体と撮像装置の距離が十分離れており、正射影に近似
できる画像であれば、撮像装置の位置が計算できる。The other is a method of calculating the position of the image pickup apparatus only by corresponding to feature points photographed in an image without using an object whose three-dimensional information is known. IEICE Transactions D-II (August 1993, pp1497
-1505) has a factor decomposition method proposed by Kinade. In this method, an image is captured using an imaging device capable of capturing an image by orthographic projection, and if correspondence between feature points captured in three or more orthogonally projected images is known, an imaging device that captures the image is used. And the three-dimensional coordinates of feature points can be calculated. In addition, even if the imaging device is not an imaging device that captures an orthographic image, but is an imaging device that captures a perspective projection image, if the distance between the target object and the imaging device is sufficiently large and the image can be approximated to the orthographic projection, the imaging is performed. The position of the device can be calculated.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、従来の
三次元座標計測手法によると、以下のような問題があ
る。即ち、 （１）特開昭６１−２８６９７９号公報に記載された三
次元座標計測手法では、三角測量の原理を使用するため
に画像を撮像した撮像位置を計測する必要があり、その
ために正確に撮像位置がわかる撮影条件、例えば、撮像
装置を固定にしたり、計算機により撮像位置を正確に制
御できる構成を必要とするという問題がある。 （２）IEEE Transaction on Pattern Analysis and Mac
hine Intelligence(Jan.1990, pp.28-37) でY.Liu によ
って提案されている三次元座標計測手法では、三次元座
標が既知の物体を使用しなければならず、その既知の物
体をあえて用意しなければならないという問題がある。 （３）電子情報通信学会論文誌D-II (1993年 8月, pp14
97-1505)で金出によって提案されている因子分解法で
は、正射影画像を撮影できる特殊な撮像装置を用意する
か、対象物体と撮像装置の距離を充分離して正射影を仮
定できるような撮影条件を必要とするという問題があ
る。However, the conventional three-dimensional coordinate measuring method has the following problems. That is, (1) In the three-dimensional coordinate measuring method described in Japanese Patent Application Laid-Open No. 61-286979, it is necessary to measure an image pickup position where an image is picked up in order to use the principle of triangulation. There is a problem in that a photographing condition for knowing the photographing position, for example, a structure in which the photographing device is fixed or a structure in which the photographing position can be accurately controlled by a computer is required. (2) IEEE Transaction on Pattern Analysis and Mac
In the three-dimensional coordinate measurement method proposed by Y. Liu in hine Intelligence (Jan. 1990, pp. 28-37), an object whose three-dimensional coordinates are known must be used. There is a problem that you have to prepare. (3) IEICE Transactions D-II (August 1993, pp14
In the factorization method proposed by Kinade in (97-1505), a special imaging device that can capture an orthographic image is prepared, or an orthographic projection can be assumed by sufficiently separating the distance between the target object and the imaging device. There is a problem that shooting conditions are required.
【０００７】従って、本発明の目的は、特定の撮像条件
や特殊な撮像装置を必要とすることなく、入力した画像
のみから特徴点やそれ以外の画素の三次元座標を高精度
に求めることができる三次元座標計測装置を提供するこ
とにある。Accordingly, it is an object of the present invention to determine the three-dimensional coordinates of feature points and other pixels from only an input image with high precision without requiring specific imaging conditions or a special imaging device. It is an object of the present invention to provide a three-dimensional coordinate measuring device capable of performing the above.
【０００８】[0008]
【課題を解決するための手段】本発明は、上記の目的を
達成するため、第１の態様として、互いに異なる位置で
撮像された画像を３つ以上取得する画像入力部と、画像
入力部が取得した各画像中に共通の点を特徴点として指
示するための特徴点入力部と、特徴点入力部により指示
された特徴点の中で正射影に近似できる程度の距離にあ
る撮像位置計算用特徴点から各画像の撮像位置を計算す
る撮像位置計算部と、撮像位置計算部が計算した各画像
の撮像位置を用いて特徴点入力部により指示されたすべ
ての特徴点の三次元座標を計算する三次元座標計算部と
を有することを特徴とする三次元座標計測装置を提供す
るものである。According to a first aspect of the present invention, there is provided an image input unit for acquiring three or more images captured at different positions, and an image input unit comprising: A feature point input unit for designating a common point as a feature point in each of the acquired images, and a distance sufficient to approximate orthographic projection among the feature points designated by the feature point input unit.
That an imaging position calculation unit for calculating the image capturing position of each image from the imaging position calculation feature point, all the feature points indicated by the feature point input unit using the imaging position of each image capturing position calculating unit has calculated And a three-dimensional coordinate measuring device for calculating three-dimensional coordinates.
【０００９】以上の構成において、撮像位置計算部が計
算した各画像の撮像位置を用いて画像入力部が取得した
画像間で画素の対応を検出する対応探索部を更に有し、
三次元座標計算部は、撮像位置計算部が計算した各画像
の撮像位置を用いて対応探索部が対応を検出した画素の
三次元座標を計算する構成であることが望ましい。ま
た、撮像位置計算用特徴点は、特徴点入力部により撮像
位置計算用特徴点として指示された特徴点であることが
望ましい。In the above configuration, the image processing apparatus further includes a correspondence search section for detecting a correspondence of pixels between the images acquired by the image input section using the imaging positions of the images calculated by the imaging position calculation section,
It is desirable that the three-dimensional coordinate calculation unit be configured to calculate the three-dimensional coordinates of the pixel whose correspondence has been detected by the correspondence search unit using the imaging position of each image calculated by the imaging position calculation unit. Also <br/>, IMAGING position calculation feature points, it is desirable that the designated feature points as a feature point imaging position calculation by the feature point input unit.
【００１０】また、本発明は、上記の目的を達成するた
め、第２の態様として、互いに異なる位置で撮像された
画像を３つ以上取得する画像入力部と、画像入力部が取
得した各画像中に共通で正射影に近似できる程度の距離
にある特徴点として指示するための特徴点入力部と、特
徴点入力部により指示された特徴点から各画像の撮像位
置を計算する撮像位置計算部と、撮像位置計算部が計算
した各画像の撮像位置を用いて画像入力部が取得した画
像間で画素の対応を検出する対応探索部と、撮像位置計
算部が計算した各画像の撮像位置を用いて対応探索部が
対応を検出した画素の三次元座標を計算する三次元座標
計算部とを有することを特徴とする三次元座標計測装置
を提供するものである。According to a second aspect of the present invention, there is provided an image input unit for acquiring three or more images captured at different positions, and each image acquired by the image input unit. Distance common enough to approximate orthographic projection
To a feature point input for instructing as a feature point, and the imaging position calculation unit for calculating the image capturing position of each image from the feature point indicated by the feature-point input unit, for each image capturing position calculating unit has calculated A correspondence search unit that detects correspondence between pixels obtained by the image input unit using the imaging position, and a pixel that the correspondence search unit detects correspondence using the imaging position of each image calculated by the imaging position calculation unit. And a three-dimensional coordinate measuring device for calculating three-dimensional coordinates.
【００１１】第１の態様および第２の態様のいずれにお
いても、正射影に近似できる程度の距離にある特徴点
は、画像入力部が取得した画像中で比較して、画像の撮
像位置から遠方に位置している点であることが望まし
く、画像入力部は、撮像位置を移動させる１台の撮像装
置が撮像した画像中から３つ以上の画像を取得する構成
であることが望ましい。In each of the first and second embodiments , a feature point located at a distance that can be approximated to an orthographic projection is located farther from the image pickup position of the image as compared with the image acquired by the image input unit. It is preferable that the image input unit is configured to acquire three or more images from the images captured by one imaging device that moves the imaging position.
【００１２】[0012]
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００１３】図１は、本発明の第１の実施の形態に係る
三次元座標計測装置の構成を示すブロック図である。こ
の三次元座標計測装置は、三台以上のカメラを有し対象
となる物体や風景を撮影する画像入力部１と、画像入力
部１で撮影された各画像中の特徴点を入力する特徴点入
力部２と、特徴点入力部２により入力された特徴点の各
画像中における座標から各カメラの位置関係を計算する
撮像位置計算部３と、撮像位置計算部３で計算した各カ
メラの位置を用いて特徴点入力部２により入力された全
ての特徴点の三次元座標を計算する三次元座標計算部４
とから構成される。FIG. 1 is a block diagram showing a configuration of a three-dimensional coordinate measuring device according to a first embodiment of the present invention. The three-dimensional coordinate measuring apparatus includes an image input unit 1 having three or more cameras for capturing an object or landscape, and a feature point for inputting a feature point in each image captured by the image input unit 1. An input unit 2, an imaging position calculation unit 3 that calculates a positional relationship of each camera from coordinates in each image of the feature points input by the feature point input unit 2, and a position of each camera calculated by the imaging position calculation unit 3 Coordinate calculation unit 4 that calculates the three-dimensional coordinates of all the feature points input by the feature point input unit 2 using
It is composed of
【００１４】以上の構成を有する三次元座標計測装置の
動作を以下に説明する。まず、三台以上のカメラによっ
て物体や風景を画像入力部１で撮影する。撮影した画像
は特徴点入力部２に送られ、キーボードやマウス等の入
力手段によって画像中の特徴点の位置をオペレーターに
入力させる。ここでいう特徴点とは、すべての画像中に
共通に撮影されている三次元上の点ならどのようなもの
でも構わない。しかし、何もないところでは特徴点の指
示が困難なので、色の変わり目や物体の角のように識別
しやすい点を指示するようにする。なお、撮影環境によ
り可能な場合は特殊な色の物体や発光する電球などの特
徴的な物体をカメラで撮影する範囲内に配置しておき、
特殊な色や発光体を画像処理により抽出しても良い。The operation of the three-dimensional coordinate measuring apparatus having the above configuration will be described below. First, an object or landscape is photographed by the image input unit 1 using three or more cameras. The captured image is sent to the feature point input unit 2, and the operator inputs the position of the feature point in the image using input means such as a keyboard or a mouse. The feature point here may be any three-dimensional point commonly photographed in all images. However, since it is difficult to specify a feature point in an empty space, a point that is easy to identify, such as a color change or a corner of an object, is specified. In addition, if possible depending on the shooting environment, arrange a special object such as an object of a special color or a luminous bulb within the range to be shot by the camera,
Special colors and luminous bodies may be extracted by image processing.
【００１５】次に、撮像位置計算部３において、各画像
中の特徴点の座標から各カメラの位置関係（三次元座標
とカメラの向き）を計算する。これは、特徴点の三次元
座標を求めるために三角測量の原理を利用しており、三
角測量の原理を用いるためには撮像位置の位置関係が必
要となるからである。撮像位置計算部３では、画像中に
おける特徴点の座標の位置関係からカメラの位置関係を
計算する。即ち、カメラの位置関係は回転行列Ｒと並進
ベクトルＴを使用して表現できるので、撮像位置計算部
３ではＲ、Ｔを求める。例えば、カメラＣ1 の座標系で
ｘと表わされる点がカメラＣ2 の座標系でｘ’と表わさ
れたとすると、Ｒ，Ｔは、 ｘ’＝Ｒｘ＋Ｔ と表わされる。Next, the imaging position calculation unit 3 calculates the positional relationship (three-dimensional coordinates and camera direction) of each camera from the coordinates of the feature points in each image. This is because the principle of triangulation is used to determine the three-dimensional coordinates of the feature points, and the use of the principle of triangulation requires a positional relationship between the imaging positions. The imaging position calculation unit 3 calculates the positional relationship of the camera from the positional relationship of the coordinates of the feature points in the image. That is, since the positional relationship between the cameras can be expressed using the rotation matrix R and the translation vector T, the imaging position calculation unit 3 obtains R and T. For example, 'When were denoted, R, T is, x' points represented with x in the coordinate system of the camera C 1 are x in the coordinate system of the camera C 2 is expressed as = Rx + T.
【００１６】因子分解法を用いると、対象物体とカメラ
の距離が離れており、その画像が正射影であるとみなせ
る程度の距離があれば、その画像が正射影であるとして
もカメラの位置と特徴点の三次元点を高精度に計算でき
る。しかし、対象としている物体が小さな物体ではなく
風景や室内の情景などの場合、遠く離れて撮影されてい
る部分と近くに撮影されている部分がある。この場合、
因子分解法では、近くに撮影されている部分は正射影に
近似できないため、撮像位置の計算に誤差が生じたり、
それを避けるために撮像装置から遠く離れた物体のみを
対象としていた。When the factor decomposition method is used, the distance between the target object and the camera is large, and if the image has a distance enough to be regarded as an orthographic projection, the position of the camera is determined even if the image is an orthographic projection. 3D points of feature points can be calculated with high accuracy. However, when the target object is not a small object but a landscape or an indoor scene, there are a part photographed far away and a part photographed close. in this case,
In the factorization method, since a portion photographed nearby cannot be approximated to an orthographic projection, an error occurs in calculation of an imaging position,
In order to avoid this, only objects far from the imaging device are targeted.
【００１７】本発明の三次元座標計測装置では、図５に
示すように、特徴点入力部２において、すべてのカメラ
から遠く離れている特徴点とそれ以外のあるカメラの近
くの特徴点に分類して指示できるようにしている。すべ
てのカメラから遠く離れている特徴点は正射影に近似で
きる特徴点であり、このような特徴点を撮像位置計算用
特徴点と呼ぶことにする。そして、この撮像位置計算用
特徴点は撮像位置計算部３に入力され、これをもとに各
カメラが画像を撮影した位置を計算する。In the three-dimensional coordinate measuring apparatus of the present invention, as shown in FIG. 5, the feature point input unit 2 classifies feature points far from all cameras and feature points near other cameras. To be able to give instructions. Feature points that are far from all cameras are feature points that can be approximated to orthographic projection, and such feature points will be referred to as imaging position calculation feature points. Then, the imaging position calculation feature point is input to the imaging position calculation unit 3, and based on this, the position at which each camera has captured an image is calculated.
【００１８】計算した撮像位置は三次元座標計算部４に
入力される。また、この三次元座標計算部４には特徴点
入力部２で入力された特徴点の各画像中における座標も
入力され、三角測量の原理により撮像位置計測用特徴点
だけでなく特徴点入力部２で入力されたすべての特徴点
の三次元座標が計算される。The calculated imaging position is input to a three-dimensional coordinate calculator 4. The three-dimensional coordinate calculation unit 4 also receives the coordinates of each of the feature points input by the feature point input unit 2 in each image, and uses not only the feature points for imaging position measurement but also the feature point input unit according to the principle of triangulation. The three-dimensional coordinates of all the feature points input in step 2 are calculated.
【００１９】このように、第１の実施の形態によれば、
対象となる物体や風景を撮影した三台以上のカメラから
成る画像入力部１に入力された画像に対して、特徴点入
力部２において入力した特徴点をカメラから遠くにある
特徴点（撮像位置計算用特徴点）と近くにあるものとを
分けて指示させ、この撮像位置計算用特徴点を用いてカ
メラの撮像位置を求めるようにした。このような特徴点
入力部２と撮像位置計算部３を有することで、カメラの
撮像位置の計算は撮像位置計算用特徴点のみを用い、高
精度にカメラ位置を計算できる。このため、三次元座標
計測の対象となるものがカメラから遠く離れた物体だけ
でなく、風景や室内の情景などカメラの近くにある対象
にも適用できる。また、撮像位置計算部で計算されたカ
メラの位置を用いて、それ以外の特徴点の三次元座標の
計算も高精度に行うことができる。As described above, according to the first embodiment,
For an image input to an image input unit 1 including three or more cameras that captures an object or a landscape, a feature point input in a feature point input unit 2 is changed to a feature point (an imaging position far from the camera). The calculation feature point) and a nearby feature point are designated separately, and the imaging position of the camera is obtained using the imaging position calculation feature point. By having such a feature point input unit 2 and an imaging position calculation unit 3, the camera imaging position can be calculated with high accuracy by using only the imaging position calculation feature points. Therefore, the object of the three-dimensional coordinate measurement can be applied not only to an object far from the camera but also to an object near the camera such as a landscape or an indoor scene. In addition, the three-dimensional coordinates of the other feature points can be calculated with high accuracy using the camera position calculated by the imaging position calculation unit.
【００２０】図２は、本発明の第２の実施の形態に係る
三次元座標計測装置の構成を示すブロック図である。こ
の三次元座標計測装置は、一台のカメラを自由に動かし
て画像を撮影し入力する画像入力部５と、カメラからの
入力画像を三枚以上蓄えておくことができる画像蓄積部
６と、画像蓄積部６に蓄積された各画像中の特徴点を入
力する特徴点入力部２と、特徴点入力部２に入力された
特徴点の各画像中の座標から各カメラの位置関係を計算
する撮像位置計算部３と、撮像位置計算部３で計算した
カメラの位置を用いて特徴点入力部２に入力された全て
の特徴点の三次元座標を計算する三次元座標計算部４と
から構成される。FIG. 2 is a block diagram showing a configuration of a three-dimensional coordinate measuring device according to a second embodiment of the present invention. The three-dimensional coordinate measuring apparatus includes an image input unit 5 that captures and inputs an image by freely moving one camera, an image storage unit 6 that can store three or more input images from the camera, A feature point input unit 2 for inputting feature points in each image stored in the image storage unit 6, and a positional relationship of each camera is calculated from coordinates of the feature points input to the feature point input unit 2 in each image. An imaging position calculation unit 3 and a three-dimensional coordinate calculation unit 4 that calculates three-dimensional coordinates of all feature points input to the feature point input unit 2 using the camera position calculated by the imaging position calculation unit 3 Is done.
【００２１】第１の実施の形態では三台以上のカメラで
画像入力部１が画像を撮影していたのに対し、第２の実
施の形態では一台のカメラを自由に動かして画像を撮影
し入力する画像入力部５と、カメラからの入力画像を三
枚以上蓄えておくことができる画像蓄積部６を有する点
において第１の実施の形態と異なる。In the first embodiment, the image input unit 1 captures an image with three or more cameras, whereas in the second embodiment, one camera freely moves to capture an image. The first embodiment differs from the first embodiment in that an image input unit 5 for inputting images and an image storage unit 6 capable of storing three or more input images from a camera are provided.
【００２２】後段の処理（特徴点の三次元座標の計算処
理）は第１の実施の形態と同様に行う。なお、撮像位置
計算部３で計算されるカメラの撮像位置は各画像を撮影
した位置である。The subsequent processing (calculation processing of the three-dimensional coordinates of the feature points) is performed in the same manner as in the first embodiment. Note that the imaging position of the camera calculated by the imaging position calculation unit 3 is a position where each image is captured.
【００２３】第２の実施の形態によれば、一台のカメラ
を自由に動かし、それぞれの位置で画像を入力すること
ができる画像入力部５と、画像入力部５に入力された画
像を３枚以上蓄積できる画像蓄積部６とを用いること
で、第１の実施の形態と比較してカメラの台数を減ら
し、装置のコストを低減させることができる。According to the second embodiment, an image input unit 5 capable of freely moving one camera and inputting an image at each position, and an image input unit 5 By using the image storage unit 6 that can store more than one image, the number of cameras can be reduced and the cost of the apparatus can be reduced as compared with the first embodiment.
【００２４】図３は、本発明の第３の実施の形態に係る
三次元座標計測装置の構成を示すブロック図である。こ
の三次元座標計測装置は、三台以上のカメラを有し対象
となる物体や風景を撮影する画像入力部１と、画像入力
部１で撮影された各画像中の特徴点を入力する特徴点入
力部２と、特徴点入力部２に入力された特徴点の各画像
中の座標から各カメラの位置関係を計算する撮像位置計
算部３と、撮像位置計算部３で計算された各カメラの位
置関係から画像入力部１に入力された画像間ですべての
画素の対応関係を探索する対応探索部７と、対応探索部
７で探索された画素の対応関係と撮像位置計算部３で計
算されたカメラの撮像位置の対応関係から各画素の三次
元座標を計算する三次元座標計算部４とから構成され
る。FIG. 3 is a block diagram showing a configuration of a three-dimensional coordinate measuring apparatus according to a third embodiment of the present invention. The three-dimensional coordinate measuring apparatus includes an image input unit 1 having three or more cameras for capturing an object or landscape, and a feature point for inputting a feature point in each image captured by the image input unit 1. An input unit 2, an imaging position calculation unit 3 that calculates the positional relationship of each camera from the coordinates in each image of the feature points input to the feature point input unit 2, and a camera position calculated by the imaging position calculation unit 3. A correspondence search unit 7 that searches for a correspondence relationship between all pixels between images input to the image input unit 1 based on the positional relationship, and a correspondence relationship between the pixels searched by the correspondence search unit 7 and an image pickup position calculation unit 3 calculates And a three-dimensional coordinate calculation unit 4 that calculates three-dimensional coordinates of each pixel from the correspondence between the imaging positions of the cameras.
【００２５】第１の実施の形態では、三次元座標計算部
４において特徴点入力部２で入力された特徴点の画像中
における座標位置を入力し、この特徴点の三次元座標の
みを計算することにしているが、第３の実施の形態で
は、各画像中のすべての画素の対応関係を探索する対応
探索部７を設けている。この対応探索部７には、画像入
力部１に入力されたすべての画像と撮像位置計算部３で
計算された各カメラの位置関係が入力される。そして、
このカメラの位置関係をもとにエピポーラ条件を求め、
すべての画素の対応関係を計算する。In the first embodiment, the coordinate position in the image of the feature point input by the feature point input unit 2 is input to the three-dimensional coordinate calculation unit 4 and only the three-dimensional coordinates of this feature point are calculated. However, in the third embodiment, the correspondence search unit 7 that searches for the correspondence between all the pixels in each image is provided. The correspondence search unit 7 receives all the images input to the image input unit 1 and the positional relationship of each camera calculated by the imaging position calculation unit 3. And
The epipolar condition is determined based on the positional relationship of this camera,
Calculate the correspondence between all pixels.
【００２６】エピポーラ条件とは、図６に示すように、
三次元空間中の点Ｍは、その点Ｍと、２台のカメラのレ
ンズ中心Ｃ1 ，Ｃ2 とから作られる平面Πと、各カメラ
の撮像面Ｓ1 とＳ2 の交線（エピポーラ線）l m1、l m2
上に撮影されているというものである。即ち、このエピ
ポーラ線上で三次元空間中の同じ点を探索することによ
って、この平面Π上の点で画像に写っているものは各画
像中での座標の対応が取れる。これをすべてのエピポー
ラ線に対して繰り返すと各画像中に写っている点の画像
中での座標の対応を検出することができる。以上のよう
にして、対応探索部７で特徴点以外の点（画素）を対象
に各画像間での画素の対応関係を探索する。The epipolar condition is, as shown in FIG.
A point M in the three-dimensional space is defined by an intersection (an epipolar line) between the point M, the plane 作 formed by the lens centers C 1 and C 2 of the two cameras, and the imaging planes S 1 and S 2 of each camera. ) L m1 , l m2
It is that it is photographed above. That is, by searching for the same point in the three-dimensional space on the epipolar line, a point on this plane Π that is reflected in the image can correspond to the coordinates in each image. By repeating this for all epipolar lines, it is possible to detect the correspondence of the coordinates of the points appearing in each image in the images. As described above, the correspondence search unit 7 searches for the correspondence of pixels between the images for points (pixels) other than the feature points.
【００２７】三次元座標計算部４においては、対応探索
部７で探索された画素の対応関係と撮像位置計算部３で
計算したカメラの撮像位置との対応関係から各画素の三
次元座標を計算する。The three-dimensional coordinate calculation unit 4 calculates the three-dimensional coordinates of each pixel from the correspondence between the pixels searched by the correspondence search unit 7 and the imaging position of the camera calculated by the imaging position calculation unit 3. I do.
【００２８】このように、第３の実施の形態によれば、
対応探索部７を設けることにより、特徴点入力部２で与
えた特徴点だけでなく画像に写っているすべての画素の
三次元座標を計算することができる。As described above, according to the third embodiment,
By providing the correspondence search unit 7, it is possible to calculate not only the feature points given by the feature point input unit 2 but also the three-dimensional coordinates of all the pixels appearing in the image.
【００２９】図４は、本発明の第４の実施の形態に係る
三次元座標計測装置の構成を示すブロック図である。こ
の三次元座標計測装置は、一台のカメラからの入力を受
ける画像入力部５と、画像入力部５に入力された画像の
うち３枚以上の画像を蓄積する画像蓄積部６と、画像蓄
積部６に蓄積された各画像中の特徴点を入力する特徴点
入力部２と、特徴点入力部２に入力された特徴点の各画
像中における座標位置とから各カメラの位置関係を計算
する撮像位置計算部３と、撮像位置計算部３で計算され
た各カメラの位置関係から画像入力部１に入力された画
像間でとすべての画素の対応関係を探索する対応探索部
７と、対応探索部７で探索された画素の対応関係と撮像
位置計算部３で計算されたカメラの撮像位置の対応関係
から各画素の三次元座標を計算する三次元座標計算部４
とから構成される。各部分の働きは前述の通りである。FIG. 4 is a block diagram showing a configuration of a three-dimensional coordinate measuring device according to a fourth embodiment of the present invention. The three-dimensional coordinate measuring apparatus includes an image input unit 5 that receives an input from one camera, an image storage unit 6 that stores three or more images among the images input to the image input unit 5, an image storage unit The positional relationship of each camera is calculated from the feature point input unit 2 for inputting the feature points in each image stored in the unit 6 and the coordinate positions in each image of the feature points input to the feature point input unit 2. An imaging position calculation unit 3, a correspondence search unit 7 for searching the correspondence between all the pixels between the images input to the image input unit 1 from the positional relationship between the cameras calculated by the imaging position calculation unit 3, A three-dimensional coordinate calculation unit 4 that calculates three-dimensional coordinates of each pixel from the correspondence between the pixels searched by the search unit 7 and the correspondence between the imaging position of the camera calculated by the imaging position calculation unit 3.
It is composed of The function of each part is as described above.
【００３０】このように、第４の実施の形態によれば、
画像入力部５と、画像蓄積部６と、対応探索部７とを有
することにより、一台のカメラを用いて、特徴点だけで
なく、画像に写っているすべての画素の三次元座標を計
算することができる。As described above, according to the fourth embodiment,
By having the image input unit 5, the image storage unit 6, and the correspondence search unit 7, the three-dimensional coordinates of not only the feature points but also all the pixels appearing in the image can be calculated using one camera. can do.
【００３１】[0031]
【発明の効果】以上説明した通り、本発明の三次元座標
計測装置によれば、画像入力部において互いに異なる位
置で撮像された画像を３つ以上取得し、特徴点入力部に
おいて画像入力部が取得した各画像中に共通の点を特徴
点として指示し、撮像位置計算部において特徴点入力部
により指示された特徴点の中で正射影に近似できる程度
の距離にある撮像位置計算用特徴点から各画像の撮像位
置を計算し、三次元座標計算部において撮像位置計算部
が計算した各画像の撮像位置を用いて特徴点入力部によ
り指示されたすべての特徴点の三次元座標を計算する構
成にしたため、また、画像入力部において互いに異なる
位置で撮像された画像を３つ以上取得し、特徴点入力部
において画像入力部が取得した各画像中に共通で正射影
に近似できる程度の距離にある特徴点として指示し、撮
像位置計算部において特徴点入力部により指示された特
徴点から各画像の撮像位置を計算し、対応探索部におい
て撮像位置計算部が計算した各画像の撮像位置を用いて
画像入力部が取得した画像間で画素の対応を検出し、三
次元座標計算部において撮像位置計算部が計算した各画
像の撮像位置を用いて対応探索部が対応を検出した画素
の三次元座標を計算する構成にしたため、特定の撮像条
件や特殊な撮像装置を必要とすることなく、入力した画
像のみから特徴点やそれ以外の画素の三次元座標を高精
度に求めることができる。As described above, according to the three-dimensional coordinate measuring apparatus of the present invention, the image input unit acquires three or more images captured at different positions, and the image input unit in the feature point input unit The degree to which a common point in each acquired image is designated as a feature point, and the imaging position calculation unit can approximate an orthographic projection among the feature points designated by the feature point input unit.
Calculates the imaging position of each image from the imaging position calculation feature points at a distance of, and uses the imaging position of each image calculated by the imaging position calculation unit in the three-dimensional coordinate calculation unit to specify all of the images specified by the feature point input unit. Since the three-dimensional coordinates of the feature points are calculated, three or more images captured at different positions in the image input unit are obtained, and in each of the images obtained by the image input unit in the feature point input unit. Common and orthographic
The image capturing position of each image was calculated from the characteristic point indicated by the characteristic point input unit in the image capturing position calculation unit, and the image capturing position calculation unit calculated in the correspondence search unit. The correspondence between pixels is detected between the images acquired by the image input unit using the imaging position of each image, and the correspondence search unit uses the imaging position of each image calculated by the imaging position calculation unit in the three-dimensional coordinate calculation unit. The three-dimensional coordinates of the pixels that have detected are calculated, so that the three-dimensional coordinates of feature points and other pixels can be calculated with high accuracy from only the input image without the need for specific imaging conditions or special imaging devices. Can be sought.
【図面の簡単な説明】[Brief description of the drawings]
【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図である。FIG. 1 is a block diagram showing a configuration of a first exemplary embodiment of the present invention.
【図２】本発明の第２の実施の形態の構成を示すブロッ
ク図である。FIG. 2 is a block diagram showing a configuration of a second exemplary embodiment of the present invention.
【図３】本発明の第３の実施の形態の構成を示すブロッ
ク図である。FIG. 3 is a block diagram showing a configuration of a third exemplary embodiment of the present invention.
【図４】本発明の第４の実施の形態の構成を示すブロッ
ク図である。FIG. 4 is a block diagram showing a configuration of a fourth exemplary embodiment of the present invention.
【図５】撮像位置計算用特徴点とそれ以外の特徴点を説
明する図である。FIG. 5 is a diagram illustrating a feature point for calculating an imaging position and other feature points.
【図６】エピポーラ条件を説明する図である。FIG. 6 is a diagram illustrating an epipolar condition.
１ 画像入力部 ２ 特徴点入力部 ３ 撮像位置計算部 ４ 三次元座標計算部 ５ 画像入力部 ６ 画像蓄積部 ７ 対応探索部 Reference Signs List 1 image input unit 2 feature point input unit 3 imaging position calculation unit 4 3D coordinate calculation unit 5 image input unit 6 image storage unit 7 correspondence search unit
フロントページの続き (56)参考文献 特開 平９−231373（ＪＰ，Ａ) 特開 平７−225844（ＪＰ，Ａ) 特開 平８−5333（ＪＰ，Ａ) 特開 平９−49714（ＪＰ，Ａ) 特開 平９−187038（ＪＰ，Ａ) 金出武雄、森田俊彦「画像系列からの 三次元形状と運動の復元」電子情報通信 学会誌 1997年５月 ＶＯＬ．80 Ｎ ｏ．５ ｐｐ．479−487 西川敦、小川晋平、丸典明、宮崎文夫 「アクティブなステレオ視からの隠れ情 報に基づく面構造の復元」電子情報通信 学会論文誌 Ｄ−ＩＩ 1996年２月 Ｖ ＯＬ．Ｊ79−Ｄ−ＩＩ Ｎｏ．２ ｐ ｐ．153−164 吉川典史、相澤清晴、羽鳥光俊「Ｄ− 12−142 移動ステレオカメラを用いた 環境画像の取得」1997年電子情報通信学 会総合大会講演論文集 1997年３月 ｐ ｐ．349 (58)調査した分野(Int.Cl.7，ＤＢ名) G01C 11/02 G01B 11/00 G01C 3/06 Continuation of the front page (56) References JP-A-9-231373 (JP, A) JP-A-7-225844 (JP, A) JP-A-8-5333 (JP, A) JP-A-9-49714 (JP) , A) JP-A-9-187038 (JP, A) Takeo Kanade, Toshihiko Morita "Reconstruction of three-dimensional shape and motion from image sequence" Journal of the Institute of Electronics, Information and Communication Engineers May 1997 VOL. 80 No. 5 pp. 479-487 Atsushi Nishikawa, Shinpei Ogawa, Noriaki Maru, Fumio Miyazaki "Reconstruction of Surface Structure Based on Hidden Information from Active Stereo Vision" Transactions of the Institute of Electronics, Information and Communication Engineers D-II February 1996 VOL. J79-D-II No. 2 pp. 153-164 Noriyoshi Yoshikawa, Kiyoharu Aizawa, Mitoshitoshi Hatori "D-12-142 Acquisition of Environmental Images Using a Moving Stereo Camera" Proceedings of the 1997 IEICE General Conference March 1997, p. 349 (58) Field surveyed (Int. Cl. 7 , DB name) G01C 11/02 G01B 11/00 G01C 3/06
Claims (6)
つ以上取得する画像入力部と、 前記画像入力部が取得した各画像中に共通の点を特徴点
として指示するための特徴点入力部と、 前記特徴点入力部により指示された特徴点の中で正射影
に近似できる程度の距離にある撮像位置計算用特徴点か
ら各画像の撮像位置を計算する撮像位置計算部と、 前記撮像位置計算部が計算した各画像の撮像位置を用い
て前記特徴点入力部により指示されたすべての特徴点の
三次元座標を計算する三次元座標計算部とを有すること
を特徴とする三次元座標計測装置。1. An image picked up at different positions from each other
One or more image input units, a feature point input unit for designating a common point in each image acquired by the image input unit as a feature point, and a feature point designated by the feature point input unit. With orthographic projection
An imaging position calculation unit that calculates an imaging position of each image from an imaging position calculation feature point that is at a distance that can be approximated by: and the feature point input unit using the imaging position of each image calculated by the imaging position calculation unit And a three-dimensional coordinate calculation unit that calculates three-dimensional coordinates of all the feature points specified by the three-dimensional coordinate system.
撮像位置を用いて前記画像入力部が取得した画像間で画
素の対応を検出する対応探索部を更に有し、 前記三次元座標計算部は、前記撮像位置計算部が計算し
た各画像の撮像位置を用いて前記対応探索部が対応を検
出した画素の三次元座標を計算する請求項１に記載の三
次元座標計測装置。2. The three-dimensional coordinate calculation unit further comprising: a correspondence search unit that detects a correspondence of pixels between the images acquired by the image input unit using an imaging position of each image calculated by the imaging position calculation unit. The three-dimensional coordinate measuring apparatus according to claim 1, wherein the unit calculates three-dimensional coordinates of a pixel whose correspondence has been detected by the correspondence search unit, using the imaging position of each image calculated by the imaging position calculation unit.
つ以上取得する画像入力部と、 前記画像入力部が取得した各画像中に共通で正射影に近
似できる程度の距離にある特徴点として指示するための
特徴点入力部と、 前記特徴点入力部により指示された特徴点から各画像の
撮像位置を計算する撮像位置計算部と、 前記撮像位置計算部が計算した各画像の撮像位置を用い
て前記画像入力部が取得した画像間で画素の対応を検出
する対応探索部と、 前記撮像位置計算部が計算した各画像の撮像位置を用い
て前記対応探索部が対応を検出した画素の三次元座標を
計算する三次元座標計算部とを有することを特徴とする
三次元座標計測装置。3. Images captured at different positions from each other
An image input section that acquires One or more, close to the orthogonal projection in a common in each image acquired the image input unit
A feature point input unit for indicating as a feature point at a distance that can be similar, an imaging position calculation unit that calculates an imaging position of each image from the feature points specified by the feature point input unit, and the imaging position calculation A correspondence search unit that detects the correspondence of pixels between the images acquired by the image input unit using the imaging position of each image calculated by the unit, and the imaging position of each image calculated by the imaging position calculation unit. A three-dimensional coordinate calculation unit that calculates three-dimensional coordinates of the pixel whose correspondence is detected by the correspondence search unit.
点入力部により前記撮像位置計算用特徴点として指示さ
れた特徴点である請求項１または２に記載の三次元座標
計測装置。4. Before SL IMAGING position calculation feature points, the three-dimensional coordinates measuring apparatus according to claim 1 or 2 is indicated feature point as the imaging position calculation feature point by the feature point input unit .
た画像中で比較して、前記画像の撮像位置から遠方に位
置している点である請求項１，２または３に記載の三次
元座標計測装置。5. Before Kitoku Choten compares in the image which the image input unit obtains, according to claim 1, 2 or 3 in that located far from the imaging position of the image 3D coordinate measuring device.
る１台の撮像装置が撮像した画像中から３つ以上の画像
を取得する請求項１〜５のいずれか１項に記載の三次元
座標計測装置。6. The three-dimensional image according to claim 1, wherein the image input unit acquires three or more images from among images picked up by one image pickup device that moves an image pickup position. Coordinate measuring device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00186998A JP3221384B2 (en) | 1998-01-07 | 1998-01-07 | 3D coordinate measuring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00186998A JP3221384B2 (en) | 1998-01-07 | 1998-01-07 | 3D coordinate measuring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11194027A JPH11194027A (en) | 1999-07-21 |
| JP3221384B2 true JP3221384B2 (en) | 2001-10-22 |
Family
ID=11513570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00186998A Expired - Fee Related JP3221384B2 (en) | 1998-01-07 | 1998-01-07 | 3D coordinate measuring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3221384B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002021522A1 (en) * | 2000-09-04 | 2002-03-14 | Koninklijke Philips Electronics N.V. | Optical scanning device |
| KR100944721B1 (en) * | 2007-11-14 | 2010-03-03 | 조정환 | A Three Dimension Coordinates Appointment Equipment Using Camera and Light Source |
| KR101000937B1 (en) | 2008-06-17 | 2010-12-13 | 삼성중공업 주식회사 | Method and apparatus for analyzing laser beam image of laser vision system |
| CN102650518B (en) * | 2011-02-25 | 2015-01-21 | 株式会社理光 | Measuring method and equipment |
| JP5998396B2 (en) * | 2012-05-11 | 2016-09-28 | 国際航業株式会社 | Triaxial sign measurement method, triaxial sign measurement program, and triaxial sign measurement apparatus |
| JP5977591B2 (en) | 2012-06-20 | 2016-08-24 | オリンパス株式会社 | Image processing apparatus, imaging apparatus including the same, image processing method, and computer-readable recording medium recording an image processing program |
| JP5953142B2 (en) * | 2012-06-27 | 2016-07-20 | オリンパス株式会社 | Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program |
| JP2016067800A (en) * | 2014-10-01 | 2016-05-09 | パナソニックＩｐマネジメント株式会社 | Electric equipment system |
-
1998
- 1998-01-07 JP JP00186998A patent/JP3221384B2/en not_active Expired - Fee Related
Non-Patent Citations (3)
| Title |
|---|
| 吉川典史、相澤清晴、羽鳥光俊「Ｄ−１２−１４２ 移動ステレオカメラを用いた環境画像の取得」１９９７年電子情報通信学会総合大会講演論文集 １９９７年３月 ｐｐ．３４９ |
| 西川敦、小川晋平、丸典明、宮崎文夫「アクティブなステレオ視からの隠れ情報に基づく面構造の復元」電子情報通信学会論文誌 Ｄ−ＩＩ １９９６年２月 ＶＯＬ．Ｊ７９−Ｄ−ＩＩ Ｎｏ．２ ｐｐ．１５３−１６４ |
| 金出武雄、森田俊彦「画像系列からの三次元形状と運動の復元」電子情報通信学会誌 １９９７年５月 ＶＯＬ．８０ Ｎｏ．５ ｐｐ．４７９−４８７ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11194027A (en) | 1999-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10068344B2 (en) | Method and system for 3D capture based on structure from motion with simplified pose detection | |
| JP6507730B2 (en) | Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination | |
| US7554575B2 (en) | Fast imaging system calibration | |
| US6781618B2 (en) | Hand-held 3D vision system | |
| US20190311497A1 (en) | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror | |
| KR101194936B1 (en) | Three-dimensional measurement apparatus and method thereof | |
| JP2874710B2 (en) | 3D position measuring device | |
| WO2018142496A1 (en) | Three-dimensional measuring device | |
| WO2011047888A1 (en) | Method of providing a descriptor for at least one feature of an image and method of matching features | |
| JP2003130621A (en) | Method and system for measuring three-dimensional shape | |
| JPH10221072A (en) | System and method for photogrammetry | |
| CN110869978A (en) | Information processing apparatus, information processing method, and computer program | |
| CN115035162A (en) | Monitoring video personnel positioning and tracking method and system based on visual slam | |
| JP3221384B2 (en) | 3D coordinate measuring device | |
| JP3842988B2 (en) | Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program | |
| JP2008275366A (en) | Stereoscopic 3-d measurement system | |
| CN113159161A (en) | Target matching method and device, equipment and storage medium | |
| JP2001317915A (en) | Three-dimensional measurement apparatus | |
| JP2003006618A (en) | Method and device for generating three-dimensional model and computer program | |
| JPH10320558A (en) | Calibration method, corresponding point search method and device therefor, focus distance detection method and device therefor, three-dimensional position information detection method and device therefor, and recording medium | |
| JP2005031044A (en) | Three-dimensional error measuring device | |
| JP3253328B2 (en) | Distance video input processing method | |
| JP3912638B2 (en) | 3D image processing device | |
| JP2970835B2 (en) | 3D coordinate measuring device | |
| JP3525712B2 (en) | Three-dimensional image capturing method and three-dimensional image capturing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010717 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070817 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080817 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080817 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090817 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090817 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130817 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |