JP4282216B2 - 3-dimensional position and orientation sensing apparatus - Google Patents

3-dimensional position and orientation sensing apparatus Download PDF

Info

Publication number
JP4282216B2
JP4282216B2 JP2000284318A JP2000284318A JP4282216B2 JP 4282216 B2 JP4282216 B2 JP 4282216B2 JP 2000284318 A JP2000284318 A JP 2000284318A JP 2000284318 A JP2000284318 A JP 2000284318A JP 4282216 B2 JP4282216 B2 JP 4282216B2
Authority
JP
Japan
Prior art keywords
marker
position
orientation
image
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000284318A
Other languages
Japanese (ja)
Other versions
JP2002090118A (en
Inventor
明人 斉藤
隆男 柴▲崎▼
祐一郎 赤塚
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2000284318A priority Critical patent/JP4282216B2/en
Priority claimed from US09/951,873 external-priority patent/US6697761B2/en
Publication of JP2002090118A publication Critical patent/JP2002090118A/en
Application granted granted Critical
Publication of JP4282216B2 publication Critical patent/JP4282216B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、画像撮影装置を利用して対象物を撮影し、当該対象物の相対的な3次元位置姿勢を計測する3次元位置姿勢センシング装置に関する。 The present invention images the object using the image capturing apparatus, a three-dimensional position and orientation sensing device for measuring the relative three-dimensional position and orientation of the object.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
従来、所定形状の指標たるマーカを撮影した画像を解析することで、該マーカに対する画像入力手段の位置や姿勢を求める技術が知られている。 Conventionally, by analyzing an image obtained by photographing the indicator serving marker having a predetermined shape, technique for determining the position and orientation of the image input means are known for the marker.
【0003】 [0003]
例えば、「VRインターフェースのための単眼による長方形マーカ位置・姿勢の高密度実時間推定方法」(3D Image Conference 96 予稿集 pp167-172高橋章、石井郁夫、牧野秀夫、中野真 1996)には、位置座標が予め判っている長方形マーカを撮影して、当該長方形マーカの四隅の撮影画像上の位置から当該長方形マーカと撮影カメラの相対的位置姿勢関係を求め、該撮影カメラの位置及び姿勢を計算する技術が開示されている。 For example, "monocular high-density real-time of the rectangular marker position and attitude estimation method by for VR Interface" (3D Image Conference 96 Proceedings pp167-172 Akira Takahashi, Ikuo Ishii, Hideo Makino, Shin Nakano 1996), the position by photographing the rectangular marker coordinates are known in advance, it obtains the relative position and orientation relationship between the rectangular markers and shoot camera from a position on the photographed image of the four corners of the rectangular markers, to calculate the position and orientation of the imaging camera techniques have been disclosed.
【0004】 [0004]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかしながら、上述した従来技術では、カメラとマーカとが遠く離れている場合には、当該マーカの四隅の画像上での離間距離が小さくなり、検出精度が悪くなるという問題があり、ゆえに検出可能な範囲が限られていた。 However, in the prior art described above, when the camera and the marker is far away, the distance on the image of the four corners of the marker is reduced, there is a problem that the detection accuracy is deteriorated, thus detectable range has been limited.
【0005】 [0005]
これを回避するため、複数のマーカをカメラが撮影する可能性のある空間領域にある程度の密度で配置しておき、カメラの撮影範囲にあるマーカのうち、ある程度近い距離のマーカを使って、このカメラとマーカの相対的位置姿勢を求めるようにすることもできる。 To avoid this, should be placed in a plurality of markers at a certain density in the space region that could camera shooting, of the markers in the shooting range of the camera, with a certain short distance of the marker, the it is also possible to determine a relative position and orientation of the camera and the marker. しかしながら、このように複数のマーカを用いた場合には、上述した従来技術のように単純な図形を用いた場合において、どのマーカに対しての相対的位置なのかを知ることが困難であった。 However, when used in this manner a plurality of markers, in case of using the simple shapes as in the prior art described above, it is difficult to know relative positions with respect to which the marker .
【0006】 [0006]
本発明は、上記問題に鑑みてなされたもので、その目的とするところは、対象物との位置姿勢関係が既知のマーカを撮影した画像を解析して、当該マーカと撮影手段との相対的位置姿勢関係を求め、これをもって当該対象物の位置及び姿勢を求める場合に、比較的広い領域で測定可能な3次元位置姿勢センシング装置を提供することにある。 The present invention has been made in view of the above problems, it is an object by analyzing the image position and orientation relationship between the object is photographed known markers, relative to the said marker and the photographing means obtain the position and orientation relationship, when obtaining the position and orientation of the object with this invention is to provide a three-dimensional position and orientation sensing device capable of measuring in a relatively wide area.
【0007】 [0007]
【課題を解決するための手段】 In order to solve the problems]
上記目的を達成するために、本発明の第1の態様では、撮影装置で撮影した画像より、対象物と撮影装置の相対的な3次元位置姿勢関係を計測する装置であって、上記対象物と3次元位置姿勢関係が既知のマーカとを上記撮影装置で撮影した画像を入力する画像入力手段と、上記画像入力手段より入力された画像において、上記マーカを当該マーカの幾何学的特徴を用いて同定する同定手段と、上記同定手段により同定された複数のマーカのうちの1つのマーカの画像を解析して、該マーカと上記撮影装置の相対的位置姿勢関係を求め、上記対象物と上記撮影装置との3次元位置姿勢関係を求める、単一マーカによる位置姿勢検出手段と、 上記同定手段で同定された複数のマーカの画像上の位置に基づいて、該マーカと上記撮影装置の相対的 To achieve the above object, in a first aspect of the present invention, from the photographed image by the photographing apparatus, a device for measuring the relative three-dimensional position and orientation relationship of the object with the imaging device, the object When using an image input means for three-dimensional position and orientation relationship inputs an image photographed a known marker in the photographing apparatus, the image input from the image input means, the marker the geometrical features of the marker and identifying means for identifying Te, by analyzing the image of one marker of a plurality of markers identified by the identifying means, obtains the relative position and orientation relationship between the marker and the imaging device, the object and the obtaining the three-dimensional position and orientation relationship between the imaging device, and the position and orientation detection means with a single marker, based on the position on the image of a plurality of markers identified above identifying means, the relative of the marker and the imaging apparatus 位置姿勢関係を求めて、上記対象物と上記撮影装置の3次元位置姿勢関係を求める、複数マーカによる位置姿勢検出手段と、上記単一マーカによる位置姿勢検出手段と上記複数マーカによる位置姿勢検出手段を択一的に切換える切換手段と、を有し、上記切換手段は、画像上のマーカの視野角に基づいて、上記単一マーカによる位置姿勢検出手段と上記複数のマーカによる位置姿勢検出手段を切換えることを特徴とする3次元位置姿勢センシング装置が提供される。 Seeking the position and orientation relationship, obtaining the three-dimensional position and orientation relationship of the object and the photographing device, and the position and orientation detection means of a plurality markers, the single marker according to the position and orientation detection means and said plurality markers by the position and orientation detection means the has a switching means for alternatively switching, and the switching means, based on the viewing angle of the marker on the image, the position and orientation detection means of the position and orientation detection means and the plurality of markers by the single marker 3-dimensional position and orientation sensing apparatus is provided, wherein the switch.
【0010】 [0010]
の態様では、上記第1の態様において、上記単一マーカによる位置姿勢検出手段は、上記1つのマーカの画像より複数の特徴部位を検出し、上記特徴部位の画像上での位置関係と上記特徴部位の実際のマーカ上での位置関係とを比較して、上記マーカと上記撮影装置の相対的位置姿勢関係を求めるものであることを特徴とする3次元位置姿勢センシング装置が提供される。 In a second aspect, in the first aspect, the position and orientation detection means by the single marker, the one detecting a plurality of characteristic portions from the images of the markers, and the positional relationship on the image of the characteristic part by comparing the positional relationship on the actual marker of the feature portion, the three-dimensional position and orientation sensing apparatus is provided for, characterized in that to determine the relative position and orientation relationship between the marker and the imaging apparatus .
【0011】 [0011]
の態様では、上記第の態様において、上記マーカの形状は4角形以上の多角形であり、上記単一マーカによる位置姿勢検出手段は、この多角形の頂点を上記特徴部位として検出することを特徴とする3次元位置姿勢センシング装置が提供される。 In a third aspect, in the second embodiment, the shape of the marker is square or polygonal, the position and orientation detection means by the single marker detects the apex of the polygon as the feature portion 3-dimensional position and orientation sensing apparatus is provided, characterized in that. の態様では、上記第1の態様において、上記マーカは、当該マーカの大きさを表わす情報を含むことを特徴とする3次元位置姿勢センシング装置が提供される。 In a fourth aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus, characterized in that it contains data indicating the size of the marker is provided.
【0012】 [0012]
の態様では、上記第1の態様において、上記マーカは、当該マーカの場所の属性を表わす情報を含むことを特徴とする3次元位置姿勢センシング装置が提供される。 In a fifth aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus, characterized in that it contains data indicating the attributes of the location of the marker is provided. の態様では、上記第1の態様において、上記マーカは、自発光型材料で形成されていることを特徴とする3次元位置姿勢センシング装置が提供される。 In a sixth aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus, characterized by being formed by self-luminous material is provided. の態様では、上記第の態様において、上記自発光型材料が用いられたマーカは、非常災害時の緊急灯と同期して点灯することを特徴とする3次元位置姿勢センシング装置が提供される。 In a seventh aspect, in the sixth aspect, the markers emissive material is used, three-dimensional position and orientation sensing apparatus characterized by lights in synchronization with an emergency lamp emergency disaster provided It is.
【0013】 [0013]
の態様では、上記第1の態様において、上記マーカは、入射光を反射して入射光路を逆進させる再帰性材料により形成されていることを特徴とする3次元位置姿勢センシング装置が提供される。 In an eighth aspect, in the first aspect, the marker may provide 3-dimensional position and orientation sensing apparatus, characterized by being formed by a recursive material for reversing the incident light path to reflect the incident light It is. の態様では、上記第1の態様において、上記マーカは、蛍光材料で形成されていることを特徴とする3次元位置姿勢センシング装置が提供される。 In a ninth aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus is provided which is characterized in that it is formed with a fluorescent material.
【0014】 [0014]
上記第10の態様では、上記第1の態様において、上記マーカは、人間の目には不可視であることを特徴とする3次元位置姿勢センシング装置が提供される。 Said In a tenth aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus, characterized in that the human eye is not visible is provided. 上記第11の態様では、上記第1の態様において、上記マーカは、投影機で投影されたものであることを特徴とする3次元位置姿勢センシング装置が提供される。 It said In an eleventh aspect, in the first aspect, the marker is 3-dimensional position and orientation sensing apparatus is provided which is characterized in that which has been projected by the projector.
【0015】 [0015]
上記第1乃至第11の態様によれば以下の作用が奏される。 The following effects are achieved according to an aspect of the first to eleventh.
【0016】 [0016]
即ち、本発明の第1の態様では、画像入力手段により上記対象物と3次元位置姿勢関係が既知のマーカとを撮影装置で撮影した画像が入力され、同定手段により上記画像入力手段より入力された画像において、上記マーカが当該マーカの幾何学的特徴を用いて同定され、単一マーカによる位置姿勢検出手段により上記同定手段により同定された複数のマーカのうちの1つのマーカの画像が解析されて、該マーカと上記撮影装置の相対的位置姿勢関係が求められ、上記対象物と上記撮影装置との3次元位置姿勢関係が求められ、複数マーカによる位置姿勢検出手段により、上記同定手段で同定された複数のマーカの画像上の位置に基づいて、該マーカと上記撮影装置の相対的な位置姿勢関係が求められて、上記対象物と上記撮影装置の3次元位 That is, in the first aspect of the present invention, the image input means said object and three-dimensional position and orientation relationship by are images taken by the photographing apparatus and a known marker input is input from the image input unit by the identification means in the image, the marker is identified using geometric characteristics of the marker, the image of one marker of a plurality of markers identified by the identifying means is analyzed by the position and orientation detection means with a single marker Te, the relative position and orientation relationship between the marker and the imaging device is determined, the three-dimensional position and orientation relationship between the object and the imaging apparatus obtains et al is, the position and orientation detection means of a plurality markers in the identification means based on the image position of the identified plurality of markers, it is demanded relative position and orientation relationship of the marker and the imaging device, the object and the three-dimensional position of the photographing device 姿勢関係が求められ、切換手段により上記単一マーカによる位置姿勢検出手段と上記複数マーカによる位置姿勢検出手段とが択一的に切換えられる。 Orientation relationship is determined, and the position and orientation detection means of the position and orientation detection means and said plurality markers by the single marker is switched alternatively by the switching means. ここで、上記切換手段により、画像上のマーカの視野角に基づいて、上記単一マーカによる位置姿勢検出手段と上記複数のマーカによる位置姿勢検出手段が切換えられる。 Here, by the switching means, based on the viewing angle of the marker on the image, the single marker according to the position and orientation detection means and the plurality of markers according to the position and orientation detection means is switched.
【0019】 [0019]
の態様では、上記第1の態様において、上記単一マーカによる位置姿勢検出手段により、上記1つのマーカの画像より複数の特徴部位が検出され、上記特徴部位の画像上での位置関係と上記特徴部位の実際のマーカ上での位置関係とが比較されて、上記マーカと上記撮影装置の相対的位置姿勢関係を求められる。 In a second aspect, in the first aspect, the position and orientation detection means by the single marker, a plurality of characteristic portions from the image of the one marker is detected, the positional relationship on the image of the characteristic part is compared with the positional relationship on the actual marker of the feature portion is obtained a relative position and orientation relationship between the marker and the imaging device.
【0020】 [0020]
の態様では、上記第の態様において、上記マーカは4角形以上の多角形で構成されており、上記単一マーカによる位置姿勢検出手段により、この多角形の頂点が上記特徴部位として検出される。 In a third aspect, in the second embodiment, the marker is composed of square or polygonal, the position and orientation detection means by the single marker, the vertices of the polygon detected as the feature region It is.
【0021】 [0021]
そして、第の態様では、上記第1の態様において、上記マーカには、当該マーカの大きさを表わす情報を含められている。 Then, in a fourth aspect, in the first aspect, the above markers, are included information indicating the size of the marker. の態様では、上記第1の態様において、上記マーカには、当該マーカの場所の属性を表わす情報を含められている。 In a fifth aspect, in the first aspect, the above markers, are included information indicating the attributes of the location of the marker. の態様では、上記第1の態様において、上記マーカは、自発光型材料で形成されている。 In a sixth aspect, in the first aspect, the marker is formed of a self-luminous material. の態様では、上記第の態様において、上記自発光型材料が用いられたマーカは、非常災害時の緊急灯と同期して点灯する。 In a seventh aspect, in the sixth aspect, the markers emissive material is used, lights in synchronization with an emergency lamp emergency disaster. の態様では、上記第1の態様において、上記マーカは、入射光を反射して入射光路を逆進させる再帰性材料により形成されている。 In an eighth aspect, in the first aspect, the marker is formed by a recursive material for reversing the incident light path to reflect incident light. の態様では、上記第1の態様において、上記マーカは、蛍光材料で形成されている。 In a ninth aspect, in the first aspect, the marker is formed with a fluorescent material.
【0022】 [0022]
上記第10の態様では、上記第1の態様において、上記マーカは、人間の目には不可視である。 It said In a tenth aspect, in the first aspect, the marker is the human eye is invisible. 上記第11の態様では、上記第1の態様において、上記マーカは、投影機で投影されたものである。 It said In an eleventh aspect, in the first aspect, the marker is one that has been projected by the projector.
【0023】 [0023]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、図面を参照して、本発明の実施の形態について説明する。 Hereinafter, with reference to the drawings, embodiments of the present invention are described.
【0024】 [0024]
先ず、本発明の第1の実施の形態について説明する。 First, a description will be given of a first embodiment of the present invention.
【0025】 [0025]
図1は本発明の第1の実施の形態に係る3次元位置姿勢センシング装置の構成を示す機能ブロック図である。 Figure 1 is a functional block diagram of a three-dimensional position and orientation sensing apparatus according to a first embodiment of the present invention. 以下、同図を参照して詳述する。 The following will be described in detail with reference to FIG.
【0026】 [0026]
この図1に示されるように、3次元位置姿勢を推定すべき対象物4或いはその付近には、幾何学的に固有の特徴を持った複数の固有マーカ5(以下、コードマーカと称する)が配置されている。 As shown in FIG. 1, the object to be estimated 3D pose 4 or in the vicinity thereof, a plurality of specific markers 5 geometrically with unique characteristics (hereinafter, referred to as code markers) is It is located.
【0027】 [0027]
そして、画像撮影部1は当該コードマーカ5を撮影し、その画像をコンピュータ2に転送する。 Then, the image capturing unit 1 is shooting the code marker 5, and transfers the image to the computer 2. 上記画像撮影部1としては、一般的なTVカメラやディジタルビデオカメラ等を採用することができる。 As the image capturing unit 1, it can be employed a general TV camera or a digital video camera or the like. また、上記画像撮影部1から転送された画像を受けるコンピュータ2としては、通常のパーソナルコンピュータや特殊な画像処理演算装置等を採用することができる。 As the computer 2 receives the image transferred from the image capturing unit 1, may be employed conventional personal computer or a special image processing operation apparatus or the like.
【0028】 [0028]
上記画像撮影部1がTVカメラでありアナログ信号を出力する場合には、上記コンピュータ2内には、当該アナログ信号をディジタル化する装置やユニットが含まれる。 The image capturing unit 1 when outputting and analog signals a TV camera, within the computer 2 includes a device or unit for digitizing the analog signals. また、上記画像撮影部1がディジタルカメラやディジタルビデオカメラ等である場合には、ディジタル信号をコンピュータ2に直接的に転送し、当該コンピュータ2にてディジタル信号を処理することになる。 Further, when the image capturing unit 1 is a digital camera or a digital video camera or the like, directly transfers the digital signal to the computer 2 will process the digital signal by the computer 2.
【0029】 [0029]
このように、コンピュータ2が、画像撮影部1で撮影されたコードマーカ5に係る画像を受け、ディジタル信号に変換し、該ディジタル信号を処理することで画像内のコードマーカ5を認識し、該コードマーカ5の画像内位置と予め登録されているコードマーカ5の3次元位置とを利用することで、対象物4の画像撮影部1に対する3次元位置姿勢を推定する。 Thus, the computer 2 receives the image of the code markers 5 taken by the image capturing unit 1, and converted into a digital signal, recognizes the code markers 5 in the image by processing the digital signal, the by utilizing the three-dimensional position of the code markers 5 and the image position of the code markers 5 are registered in advance, estimates the three-dimensional position and orientation with respect to the image capturing unit 1 of the object 4. このコードマーカ5の3次元位置は、コンピュータ2内のメモリに予め格納されている。 Three-dimensional position of the code marker 5 is previously stored in a memory in the computer 2.
【0030】 [0030]
さらに、図2に示されるように、カメラパラメータ検出部3を構成に取込めば、画像撮影部1たるカメラのレンズ焦点距離や歪値などの情報を当該カメラパラメータ検出部3よりコンピュータ2に転送し、当該コンピュータ2において、これらの情報を加味した上で3次元位置姿勢の推定がされる。 Further forward, as shown in FIG. 2, if Kome preparative camera parameters detector 3 in the configuration, information such as an image capturing unit 1 serving as a camera lens focal length and the distortion value than the computer 2 the camera parameter detector 3 and, in the computer 2, the estimation of the three-dimensional position and orientation upon adding the information.
【0031】 [0031]
先ず、少なくとも3個以上のコードマーカ5が同定できた場合において、対象物4の位置姿勢を推定する方法に関して解説する。 First, at least three code markers 5 in the case where could be identified, which explains about a method of estimating the position and orientation of the object 4.
【0032】 [0032]
以下、画像と座標変換に関する基本的な扱いに関して説明する。 Hereinafter, it will be described a basic treatment to an image and the coordinate transformation.
【0033】 [0033]
基本的に対象物4と画像撮影部1は、それぞれ固有の座標系を有しており、画像撮影部1が撮影する画像は、カメラ画像面として定義される。 Basically the object 4 and the image capturing unit 1, respectively have a specific coordinate system, images the image capturing unit 1 captures is defined as the camera image plane.
【0034】 [0034]
図3は、上記カメラ画像面と画像撮影部1のカメラ座標系、及びオブジェクト座標系の関係を示した図である。 Figure 3 is a diagram showing the camera image plane and the image capturing unit 1 of the camera coordinate system, and the relationship of the object coordinate system.
【0035】 [0035]
対象物4が規定するオブジェクト座標系はその原点をOm 、その3次元座標を(xm ,ym ,zm )とする。 Object coordinate system object 4 defines the Om its origin, and its three-dimensional coordinates (xm, ym, zm). 一方、画像撮影部1が規定するカメラ座標系は、その原点をOc 、その3次元座標を(xc ,yc ,zc )とする。 On the other hand, the camera coordinate system image capturing unit 1 is defined by this the origin Oc, to the three-dimensional coordinates (xc, yc, zc) and.
【0036】 [0036]
カメラ画像面は、その軸がu軸とv軸により構成され、u軸はカメラ座標系のxc軸と平行に、v軸はyc軸に平行に取られ、カメラ座標系を規定するzc軸が画像撮影部1の光学系の光軸と一致し、その光軸とカメラ画像面が交わる点(カメラ画像面の中心)が、(u0 ,v0 )で定義される。 The camera image plane, the axis is constituted by the u-axis and v-axis, parallel to the xc axis of u-axis camera coordinate system, v-axis is taken in parallel to the yc axis, zc axes defining the camera coordinate system coincides with the optical axis of the optical system of the image capturing unit 1, the point where the optical axis and the camera image plane intersects (center of the camera image plane) is defined by (u0, v0).
【0037】 [0037]
画像撮影部1に相対する対象物の3次元位置姿勢を推定する問題は、カメラ座標系に対するオブジェクト座標系の位置姿勢を推定する問題、換言すれば、オブジェクト座標系からカメラ座標系への座標変換パラメータ、又はカメラ座標系からオブジェクト座標系への座標変換パラメータを算出する問題に帰着される。 Problem of estimating the three-dimensional position and orientation of the relative object in the image capturing unit 1, the problem of estimating the position and orientation of the object coordinate system relative to the camera coordinate system, in other words, coordinate transformation from the object coordinate system to the camera coordinate system parameter, or is reduced to the problem of calculating the coordinate conversion parameter to the object coordinate system from the camera coordinate system.
【0038】 [0038]
これを数学的に記述すると、斉次変換行列 cHm 又は mHc を利用して、 When this mathematically described, by using the homogeneous transformation matrix cHm or MHC,
【0039】 [0039]
【数1】 [Number 1]
【0040】 [0040]
と定義することができる。 It can be defined as. ここに、R=(rij),R′=(r′ij)は3×3の回転行列を示し、t=(tx ,ty ,tz ),t′=(t′x ,t′y ,t′z )は3次元並進べクトルを示している。 Here, R = (rij), R '= (r'ij) represents the rotation matrix of 3 × 3, t = (tx, ty, tz), t' = (t'x, t'y, t 'z) shows a three-dimensional translational base vector.
【0041】 [0041]
以下に詳述するマーカ群{Mi ;i=1,2,…,m}は、予めオブジェクト座標系での3次元位置が計測されており、それらを(xi m ,yi m ,zi m )で表現する。 The markers described in detail below {Mi; i = 1,2, ... , m} is previously measured three-dimensional position of an object coordinate system, their (xi m, yi m, zi m) at Express. また、その画像内位置を(ui ,vi )で記述する。 Further, describing the image position (ui, vi).
【0042】 [0042]
すると、画像撮影部1をピンホールカメラモデルで近似したとき、それらの座標間には、以下の関係が成立する。 Then, when approximating the image capturing unit 1 in the pinhole camera model, between their coordinates, the following relationship is established.
【0043】 [0043]
【数2】 [Number 2]
【0044】 [0044]
ここに、(u0 ,v0 )は画像内の中心、(αu ,αv )はu方向とv方向の拡大率を表し、画像撮影部1に関するカメラ内部パラメータであり、カメラキャリブレーションにより推定できる値である。 Here, (u0, v0) is the center of the image, (.alpha.u, .alpha.v) represents the magnification of the u direction and the v direction, a camera internal parameter relating to image capturing unit 1, a value that can be estimated by camera calibration is there.
【0045】 [0045]
以下、図7のフローチャートを参照して、コンピュータ2が画像を入力した後に、対象物4の3次元位置姿勢を推定する動作の流れを説明する。 Hereinafter, with reference to the flowchart of FIG. 7, the computer 2 after entering the image, the flow of operation for estimating a three dimensional position and orientation of the object 4.
【0046】 [0046]
先ず、画像を受け取ったコンピュータ2は、その画像の中からコードマーカ5に対応する領域と推定される候補領域を抽出する(ステップS1)。 First, the computer 2 that has received the image extracts a candidate region that is estimated to a region corresponding to the code markers 5 from the image (step S1).
【0047】 [0047]
続いて、このステップS1にて抽出された候補領域内を詳細に解析し、その中からコードマーカ5のコードに対応する幾何学的特徴を抽出し、そのコードが認識された場合には、その領域をマーカ領域として、その画像内位置とコードとを登録する(ステップS2)。 Then, if this step was analyzed in detail the extracted candidate region at S1, and extracts a geometric feature corresponding to the code of the code markers 5 among them, the code is recognized, the the region as a marker region, registers the its image position code (step S2). そして、この登録された画像から抽出されたコードマーカ5の画像内2次元位置と対象物に相対する3次元位置とを利用することで画像撮影部1に対応する対象物の位置を算出する(ステップS3)。 Then, to calculate the position of the object corresponding to the image capturing unit 1 by utilizing the relative three-dimensional position in the image in the two-dimensional position and the object code marker 5 extracted from the registered image ( step S3).
【0048】 [0048]
以下、図7の上記ステップS1乃至S3について更に詳述する。 Hereinafter, it will be described in more detail above steps S1 to S3 in FIG.
【0049】 [0049]
(ステップS1) (Step S1)
第1の実施の形態では、画像撮影部1がカラー画像を生成するものとして、コードマーカ5としては、図4乃至図6に示したものを想定する。 In the first embodiment, as an image capturing unit 1 generates a color image, the code markers 5, it is assumed that shown in FIGS. 4 to 6.
【0050】 [0050]
コードマーカ5の外枠は単色から成立しているので、その単色に敏感な色フィルタをアルゴリズム内に導入する。 Since the outer frame of the code markers 5 are satisfied from monochrome to introduce sensitive color filters in the algorithm that monochromatic.
【0051】 [0051]
具体的には、画像面(u,v)で定義される画像点に関して、カラー画像を構成するフィルタの計測値R(赤),G(緑),B(青)から、 Specifically, with respect to the image point defined by the image plane (u, v), from the measured values ​​of the filter constituting the color image of R (red), G (green), B (blue),
i=(R+G+B)/3 i = (R + G + B) / 3
r=R/(R+G+B) r = R / (R + G + B)
g=G/(R+G+B) g = G / (R + G + B)
に対応する3個のベクトルを算出する。 And calculates the three vectors corresponding to.
【0052】 [0052]
そして、コードマーカ5が取り得る画像内での色パターンの許容値が、 Then, the allowable value of the color pattern in the image of the code marker 5 can take,
imin <i<imax imin <i <imax
rmin <r<rmax rmin <r <rmax
gmin <g<gmax gmin <g <gmax
を満たす画像領域を抽出する。 And extracts an image area that satisfies. ここで、imin ,imax ,rmin ,rmax ,gmin ,gmax 等の値は、予め設定しておく。 Here, imin, imax, rmin, rmax, gmin, the value of such gmax is set in advance.
【0053】 [0053]
次いで、画像領域内の穴埋めを行うことにより、コードマーカ5に対応する領域を決定する。 Then, by performing filling in the image region, determines a region corresponding to the code markers 5.
【0054】 [0054]
(ステップS2) (Step S2)
次に抽出された領域がマーカの像であるかを判定する。 Then extracted region is determined whether the image of the marker.
【0055】 [0055]
例えば、パターンマッチングを用い、予め登録しておいたマーカ像と比較を行うことでマーカの判定ができる。 For example, using pattern matching, it is determined markers by performing comparison with the pre-registered in the marker image had.
【0056】 [0056]
(ステップS3) (Step S3)
上記ステップ2で同定されたコードマーカ5の画像内位置(ui ,vi )(i=1,2,3,…)とオブジェクト座標系における3次元マーカ位置(xi m ,yi m ,zi m )が与えられたとき、いかにして先に示した式(3)で定義される斉次変換行列 cHm を算出するが、本ステップ4の課題である。 Image position of the code markers 5 identified in step 2 (ui, vi) (i = 1,2,3, ...) and 3-dimensional marker position in the object coordinate system (xi m, yi m, zi m) is when it is given, but calculates the how to homogeneous transformation matrix cHm defined in equation (3) shown above, an object of the present step 4.
【0057】 [0057]
これは基本的に文献(MAFischler and RCBolles, “Random sample consensus : A paradigm for model fitting with applications to image analysis and automated cartography,”Communications of the ACM, Vol.24, No.6, June 1981, pp.381-395)で示される方法を以下の如く変更しながら行う。 This is basically the literature (MAFischler and RCBolles, "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, Vol.24, No.6, June 1981, pp.381 the method shown in -395) conducted while changing as follows.
【0058】 [0058]
この文献で紹介されている方法では、同定されたマーカ群の中から一直線上にない任意の3個のマーカを選択し、その3個のコードマーカを利用してカメラ座標系とオブジェクト座標系間の座標変換パラメータ解の候補を算出する。 The method introduced in this document, select any three markers not in a straight line from the identified marker group, between the camera coordinate system and the object coordinate system by utilizing the three code markers calculating a candidate of the coordinate transformation parameters solutions.
【0059】 [0059]
しかしながら、その座標変換パラメータとしては、最大4種類の解が存在することが判っているので、その4種類の各解に対して、選択されなかったマーカ群を利用して解の検証を行うことにより、解の絞り込みを行うと共に、その解を初期値として、全てのコードマーカを利用して解の更新を行うものである。 However, examples of the coordinate transformation parameters, since it has been found that up to four solutions exist, be made for each solution of the 4 types, the verification of the solution by using the markers that are not selected Accordingly, it performs narrowing of solution, the solution as an initial value, and performs updating of the solution using all of the code markers.
【0060】 [0060]
以下、その方法に関して簡単に説明する。 It will be briefly described below with respect to its method.
【0061】 [0061]
同定されたマーカ群の中から、ある選択基準に従って画像内で一直線上にない3個のコードマーカを選択する。 From among the identified marker groups selects three code markers not on a straight line in the image in accordance with some selection criterion. この選択基準としては、カメラ画像面で3個のコードマーカを頂点とする3角形の面積が最大となる3個のコードマーカを選択する方法やカメラ画像面で3個のコードマーカを頂点とする3角形の面積が最小となる3個のマーカを選択する方法等が考えられる。 As the selection criterion, triangle area whose vertices three code markers in the camera image plane and the vertex three code markers in the methods and the camera image plane to select the three code markers that maximizes a method in which triangular area to select three markers is minimized is considered.
【0062】 [0062]
このようにして得られたコードマーカをMi (i=1,2,3)とする。 The code marker thus obtained and Mi (i = 1,2,3).
【0063】 [0063]
次に、これら3個のコードマーカMi (そのモデル座標系における3次元位置をPi(xim,yim,zim)、画像内位置をQi (ui ,vi )とする)に関して、図8に示されるような3個の3角形ΔOc Mi Mj (i,j=1,2,3;iとjは等しくない)を考える。 Then, these three code markers Mi (the model coordinate system in the three-dimensional position Pi (xim, yim, zim), the inside of the image position Qi (ui, vi) to) with respect to, as shown in FIG. 8 consider the; (i and j are not equal i, j = 1, 2, 3) 3 pieces of triangles ΔOc Mi Mj such.
【0064】 [0064]
これらの3個の3角形に関して、カメラ画像径の原点Oc から各マーカMi までの距離をdi とし、マーカMi ,Mj とカメラ座標系原点Oc がなす角度θijとする。 For these three triangles, the distance from the origin Oc of the camera image size to each of the markers Mi and di, markers Mi, an angle θij formed by Mj and the camera coordinate system origin Oc. また、マーカMi ,Mj 間の距離をRijとする。 In addition, the marker Mi, the distance between Mj and Rij.
【0065】 [0065]
このとき、距離R12,R23,R31と角度θ12,θ23,θ31は既知の値となるが、d1 ,d2 ,d3 は未知の値となる。 The distance R12, R23, R31 and the angle θ12, θ23, θ31 is a known value, d1, d2, d3 is the unknown value. 逆に言えば、距離d1 ,d2 ,d3 を算出することができれば、オブジェクト座標系からカメラ座標系への座標変換パラメータを算出することができる。 Conversely, if it is possible to calculate the distances d1, d2, d3, it is possible to calculate the coordinate transformation parameters from the object coordinate system to the camera coordinate system.
【0066】 [0066]
以下、この点に関して解説する。 Hereinafter, the explanation in this regard.
【0067】 [0067]
(1)距離R12,R23,R31の算出方法R12は点P1 と点P2 間のユークリッド距離として算出される。 (1) Distance R12, R23, R31 method for calculating the R12 is calculated as the Euclidean distance between points P1 and P2. 同様に、R23,R31はそれぞれ、点P2 とP3 、点P3 とP1 間のユークリッド距離として算出される。 Likewise, R23, R31 are each, is calculated as the Euclidean distance between the point P2 P3, the points P3 and P1.
【0068】 [0068]
(2)角度θ12,θ23,θ31の算出方法マーカM1 ,M2 とカメラ座標系の原点Ocとがなす角度θijは以下のように算出することができる。 (2) the angle θ12, θ23, the angle θij formed between the origin Oc of the calculation method the marker M1, M2 and the camera coordinate system θ31 can be calculated as follows.
【0069】 [0069]
先ず、 First of all,
【0070】 [0070]
【数3】 [Number 3]
【0071】 [0071]
を(ui ,vi )の正規化された座標値とすると、 The (ui, vi) When normalized coordinate values,
【0072】 [0072]
【数4】 [Number 4]
【0073】 [0073]
が成立する。 There is established. この正規化された画像点【0074】 The normalized image point [0074]
【数5】 [Number 5]
【0075】 [0075]
は、カメラ座標系でzc =1に対応する(xc ,yc )に対応することから、 , Since corresponding to the corresponding to zc = 1 in the camera coordinate system (xc, yc),
【0076】 [0076]
【数6】 [6]
【0077】 [0077]
が成立する。 There is established.
【0078】 [0078]
このようにして、3個の角度をその余弦より算出することができる。 In this way, it can be calculated from the cosine three angles.
【0079】 [0079]
(3)距離di (i=1,2,3)の算出方法3角形のOc M1 M2 ,Oc M2 M3 ,Oc M3 M1 に対して第2余弦定理を適用すれば、 (3) Distance di (i = 1, 2, 3) calculation method triangular Oc M1 M2 of, Oc M2 M3, by applying the second cosine theorem with respect Oc M3 M1,
R12=d1 2 +d2 2 −2d1 d2 cosθ12 R12 = d1 2 + d2 2 -2d1 d2 cosθ12
R23=d2 2 +d3 2 −2d2 d3 cosθ23 R23 = d2 2 + d3 2 -2d2 d3 cosθ23
R31=d3 2 +d1 2 −2d3 d1 cosθ31 R31 = d3 2 + d1 2 -2d3 d1 cosθ31
が導かれる。 It is derived.
【0080】 [0080]
これら3式において、未知数はd1 ,d2 ,d3 の3個であり、制約式も3個であるので、理論的には上式を満たす解{(d1(k),d2(k),d3(k))}:k=1,2,3,4}が存在する。 In these three equations, the unknowns are the three d1, d2, d3, since constraint is also three, solution that satisfies the above equation theoretically {(d1 (k), d2 (k), d3 ( k))}: k = 1,2,3,4} is present.
【0081】 [0081]
その解法に関しては、文献(MAFischler and RCBolles, “Random sample consensus : A paradigm for model fitting with applications to image analysis and automated cartography,”Communications of the ACM, Vol.24, No.6, June 1981, pp.381-395)で詳しく述べられているように、この方程式には最大4個の解が存在することが分かっており、その解が4次方程式の解として数値解析的に解くことが可能である。 For its solution, the literature (MAFischler and RCBolles, "Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Communications of the ACM, Vol.24, No.6, June 1981, pp.381 as detailed in -395), has been found to up to four solutions exist in this equation, the solution is able to solve numerically analytically as the solution of the quartic equation.
【0082】 [0082]
(4)解(d1 ,d2 ,d3 )の検証と最適解の選択基本的には、最大4個の解の中で1個だけが正しい解を与えるものである。 (4) The solution (d1, d2, d3) selected basic validation and optimal solutions, in which only one among the up to four solutions provide the correct solution.
【0083】 [0083]
上記の解の中でどの解が正しいかを検証するのが、本段階である。 To verify what solution is correct in the above solution is the present step.
【0084】 [0084]
各解(d1 ,d2 ,d3 )について、カメラ座標系Cでのマーカ位置(xi c ,yi c ,zi c )を算出する方法について解説する。 For each solution (d1, d2, d3), the marker position in the camera coordinate system C (xi c, yi c, zi c) method of calculating to commentary.
【0085】 [0085]
カメラ座標系原点Cからマーカまでの距離がdi であり、その画像内位置(ui ,vi )であり、 Distance from the camera coordinate system origin C until the marker is di, and its image position (ui, vi),
【0086】 [0086]
【数7】 [Equation 7]
【0087】 [0087]
と書くことができる。 It can be written as.
【0088】 [0088]
いま、オブジェクト座標系でのマーカ位置を(xi m ,yi m ,zi m )とすれば、オブジェクト座標系Om からカメラ座標系Oc への変換は、 Now, if the marker position in the object coordinate system (xi m, yi m, zi m) and conversion from the object coordinate system Om to the camera coordinate system Oc is
【0089】 [0089]
【数8】 [Equation 8]
【0090】 [0090]
と書かれる。 It is written.
【0091】 [0091]
ここにRは回転行列を表し、tは並進ベクトルを表す。 Wherein R represents a rotation matrix, t denotes the translation vector.
【0092】 [0092]
いま、両座標系でのマーカ群の重心ベクトルを[xmean c ,ymean c ,zmean cT ,[xmean m ,ymean m ,zmean mTとすると、 Now, [xmean c, ymean c, zmean c] centroid vectors of the markers in the two coordinate systems T, [xmean m, ymean m , zmean m] When is T,
【0093】 [0093]
【数9】 [Equation 9]
【0094】 [0094]
が成立し、並進ベクトルと回転行列を別々の式で算出することができる。 There satisfied, it is possible to calculate the rotation matrix and translation vector in separate formulas.
【0095】 [0095]
i=1,2,3に対して、上記方程式を解く方法としては、quaternion法(四元数法)がある。 Against i = 1, 2, 3, as a method for solving the above equation, there is a quaternion method (quaternion method). この方法の詳細は文献(BKPHorn, “Closed-form solution of absolute orientation using unitquaternions,”Journal of Optical Society of America A, Vol.4, No.4, 1987, pp.629-642.)に述べられているので、その詳細はここでは省略する。 Document details of this method (BKPHorn, "Closed-form solution of absolute orientation using unitquaternions," Journal of Optical Society of America A, Vol.4, No.4, 1987, pp.629-642.) Stated in because there, the details of which are omitted here.
【0096】 [0096]
このようにR,tが算出されると、斉次変換行列 cHm は式(1,2)により計算することができる。 With such R, t is calculated, homogeneous transformation matrix cHm can be calculated by the equation (1). 以上のことを4個の解に対して繰り返し、 cHm(1), cHm(2), cHm(3), cHm(4)の4個の解を算出することができる。 Repeated for four solutions to the above, cHm (1), cHm (2), cHm (3), can be calculated four solutions of cHm (4).
【0097】 [0097]
さて、同定されたコードマーカのうち最初の選択されなかったコードマーカをM4 ,M5 ,…,Mm とする。 Well, the first unselected code markers M4, M5 out of the identification code marker, ..., and Mm.
【0098】 [0098]
各斉次変換行列 cHm(k)(k=1,2,3,4)に対して、解として最もふさわしい解を、これらM4 ,M5 ,…,Mm を利用して決定する方法を説明する。 Against KakuHitoshitsugi transformation matrix cHm (k) (k = 1,2,3,4), the most appropriate solution as a solution, they M4, M5, ..., illustrating a method of determining by use of Mm.
【0099】 [0099]
▲1▼各解 cHm(k)に対する評価関数dist(k)を最小にするkを、以下のステップで算出する。 ▲ 1 ▼ a k that minimizes the evaluation function dist (k) for each solution cHm (k), is calculated in the following steps.
【0100】 [0100]
▲2▼各解 cHm(k)(k=1,2,3,4)に関して以下の方法により、dist(k)を算出する。 ▲ 2 ▼ in the following manner with respect to each solution cHm (k) (k = 1,2,3,4), calculates the dist (k).
【0101】 [0101]
a)dist(k):=0と評価関数を初期化する。 a) dist (k): initializing a = 0 and evaluation function.
【0102】 [0102]
b)同定されたが最初の3個に選択されなかったマーカMj (j=4,5,…,m)について、そのオブジェクト座標系における3次元位置(xj m ,yj m ,zj m )を cHm(k)を利用してカメラ画像面に変換する。 b) it has been identified marker Mj (j = 4,5 which is not selected in the first three, ..., cHm for m), 3-dimensional position in the object coordinate system (xj m, yj m, the zj m) converting the camera image plane by using a (k). その投影画像点を(uj′,vj′)とする。 The projected image point and (uj ', vj'). これは、 this is,
【0103】 [0103]
【数10】 [Number 10]
【0104】 [0104]
により算出することができる。 It can be calculated by.
【0105】 [0105]
続いて、マーカMj の実際に画像内で測定された2次元位置(uj ,vj )と投影画像点(uj′,vj′)との2乗誤差ej を算出する。 Then, it calculates the square error ej between actual measured two-dimensional position in the image of the marker Mj (uj, vj) and the projected image point (uj ', vj').
【0106】 [0106]
ej は以下のように算出できる。 ej can be calculated as follows.
【0107】 [0107]
【数11】 [Number 11]
【0108】 [0108]
▲3▼dist(k)が最小となる斉次変換行列の解 cHm(k)を選択する。 ▲ 3 ▼ dist (k) to select the solution of smallest homogeneous transformation matrix cHm (k).
【0109】 [0109]
要約すると、上記のステップで求められる最適解 cHm(k)は、コードマーカM1 ,M2 ,M3 から生成される解のうち、他のマーカM4 ,M5 ,…,Mm が最も支持する解を選択するものである。 In summary, the optimal solution cHm obtained in the above step (k), among the solutions generated from code markers M1, M2, M3, other markers M4, M5, ..., select a solution that Mm is most supported it is intended.
【0110】 [0110]
(5)解の更新上記(4)で選択された解 cHm(k)は、コードマーカM1 ,M2 ,M3 から推定されたものであり、他のマーカM4 ,M5 ,…,Mm に対する測定値を利用したものではない。 (5) solution of updating the (4) in selected solutions cHm (k) has been estimated from code markers M1, M2, M3, other markers M4, M5, ..., the measurements for Mm not intended to be used. 本ステップでは、上記(4)で算出された解 cHm(k)を初期推定値 cHm(0)として、全てのコードマーカMi (i=1,2,…,m)によりこの解の更新を行う。 In this step, carried out as above (4) is calculated a solution cHm (k) the initial estimate cHm (0), all code markers Mi (i = 1,2, ..., m) by the updating of this solution . すなわち、 cHm を角度成分(roll(φz )−pitch(φy )−yaw(φx )角)と並進成分(tx ,ty ,tz )に展開して、6次元未知変数p=(φx ,φy ,φz ;tx ,ty ,tz )とし、その初期推定値をp (0) =(φx (0) ,φy (0) ,φz (0) ;tx (0) ,ty (0) ,tz (0) )と定義する。 That, cHm the angle component (roll (φz) -pitch (φy) -yaw (φx) square) and translation components (tx, ty, tz) expand, the six-dimensional unknown variables p = (φx, φy, φz ; tx, ty, and tz), the initial estimate p (0) = (φx ( 0), φy (0), φz (0); tx (0), ty (0), tz (0)) It is defined as.
【0111】 [0111]
具体的には、 In particular,
【0112】 [0112]
【数12】 [Number 12]
【0113】 [0113]
により定義される。 It is defined by.
【0114】 [0114]
これをオブジェクト座標系でのマーカ3次元位置(xi m ,yi m ,zi m )と、そのカメラ画像面での位置(ui ,vi )の関係を利用しながら、6次元位置姿勢パラメータp=(φx ,φy ,φz ;tx ,ty ,tz )を更新することを考える。 This marker three-dimensional position of an object coordinate system (xi m, yi m, zi m) and its position in the camera image plane (ui, vi) while utilizing the relationship, six-dimensional position and orientation parameters p = ( think tx, ty, updating the tz); φx, φy, φz.
【0115】 [0115]
オブジェクト座標系でのマーカ3次元位置(xi m ,yi m ,zi m )と、そのカメラ画像面での位置(ui ,vi )の関係は、 Marker three-dimensional position of an object coordinate system (xi m, yi m, zi m) and, the relationship between the position at the camera image plane (ui, vi),
【0116】 [0116]
【数13】 [Number 13]
【0117】 [0117]
により与えられる。 It is given by. この式を整理すると、各マーカMi (i=1,2,…,m)に関して、 Rearranging this expression, each marker Mi (i = 1,2, ..., m) with respect to,
【0118】 [0118]
【数14】 [Number 14]
【0119】 [0119]
なる2次制約式によって表現され、6次元パラメータの初期推定値p (0) =(φx (0) ,φy (0) ,φz (0) ;tx (0) ,ty (0) ,tz (0) )を用いて、6次元パラメータp=(φx ,φy ,φz ;tx ,ty ,tz )を推定する問題となる。 Is represented by the quadratic constraint made the initial estimate p (0) of the 6-dimensional parameter = (φx (0), φy (0), φz (0); tx (0), ty (0), tz (0 )) using a 6-dimensional parameter p = (φx, φy, φz ; tx, ty, the problem of estimating the tz).
【0120】 [0120]
この問題はよく知られた非線形方程式問題であり、多くの著書がその解法を紹介しているので、ここではその詳細を述べない。 This problem is a well-known non-linear equation problem, because many of the book is to introduce the solution, here is not to mention the details.
【0121】 [0121]
このようにして6次元パラメータは、全てのマーカの測定値を利用して更新され、オブジェクト座標系からカメラ座標系への座標変換パラメータが算出される。 Six-dimensional parameter in this way, is updated using the measured values ​​of all of the marker, the coordinate transformation parameters from the object coordinate system to the camera coordinate system is calculated. すなわち、対象物4と画像撮影部1の間の位置関係を算出することができる。 That is, it is possible to calculate the positional relationship between the object 4 and the image capturing unit 1.
【0122】 [0122]
以上説明したように、第1の実施の形態によれば、マーカ群の一部が遮蔽されて検出できなかった場合でも、検出されたマーカだけから対象物4と画像撮影部1の間の3次元位置関係を算出することができる。 As described above, according to the first embodiment, 3 during even if some of the markers can not be detected is shielded from only been detected marker of the object 4 and the image capturing unit 1 it is possible to calculate the dimensions positional relationship.
【0123】 [0123]
また、マーカの検出に際しては、マーカ固有のコードを利用することにより、マーカ同定の信頼性が従来例に比べて極度に向上させることができるので、より安定な位置姿勢計測を実現することができる。 Further, in detecting the marker, by using the marker-specific code, because the reliability of the marker identification can be extremely improved as compared with the conventional example, it is possible to realize a more stable position and orientation measurement .
【0124】 [0124]
前述のように、マーカの検出に際しては、最低3個を検出する必要があるが、4個以上検出できれば、更に信頼性が高くなる。 As described above, upon detection of the marker, it is necessary to detect the three lowest, if detected four or more, further increased reliability.
【0125】 [0125]
ここで、先にも述べたように、図4乃至図6は、幾何学的特徴を持ったコードマーカ5の一例を表したものである。 Here, as described above, FIGS. 4 to 6 each illustrate an example of code marker 5 having geometrical features.
【0126】 [0126]
各コードマーカ5は幾何学的特徴を有しており、それがコードマーカ5にラベルを付加するに足るコードを生成できる点は重要である。 Each code markers 5 has a geometric feature, it is important that it can generate a code sufficient to add a label to the code markers 5.
【0127】 [0127]
図4は1つのマーカ画像を解析して4点の特徴点を認識する場合に好適なコードマーカの形状を示しており、図4(a),(b)は正方形、図4(c)は台形、図4(d)はコの字形、図4(e),(f)は円形、図4(g)は星型のコードマーカの構成例を示している。 Figure 4 shows the shape of a suitable code markers when recognizing characteristic points of the four points by analyzing one marker image, FIG. 4 (a), (b) a square, Fig. 4 (c) trapezoidal, FIG. 4 (d) U-shaped, FIG. 4 (e), (f) is circular, FIG. 4 (g) shows a configuration example of a star-shaped code markers.
【0128】 [0128]
すなわち、1つのマーカを解析することで、前出のコードマーカ4つの代替となる4つの位置の既知な特徴点の情報を得ることができるわけである。 That is, by analyzing the single marker is not able to obtain the information of the known feature points of the preceding code markers four alternative to four positions.
【0129】 [0129]
図4(a)のコードマーカでは、マーカの検出は外枠内外の色を変え、その違いを検出することで行い、外枠を微分、細線化などすることでその4隅を位置の既知な特徴点として認識する。 The code markers of FIG. 4 (a), the detection of the marker to change the color of the outer frame and out performed by detecting the difference, differentiating the outer frame, a known position the four corners by such thinning recognized as a feature point.
【0130】 [0130]
さらに、向きは下側の横線(外枠内側)を検出することで認識し、情報は外枠内部の8点(中央の1点は位置認識用)を検出することで取得する。 Furthermore, orientation recognized by detecting the lower horizontal line (outer frame inside) information 8 point inside the outer frame (1 point central for recognition position) acquired by detecting. チェックデジットについては、外枠内側左右の2点(2点→2bit)を用いる。 For the check digit, two points of the outer frame inside the left and right (2 points → 2bit) used.
【0131】 [0131]
図4(h)はコードマーカ(図4(a))の特徴点が検出された様子を示す。 Figure 4 (h) shows how the feature points code markers (FIG. 4 (a)) were detected. 外枠の左下端のオブジェクト座標における座標値を(u1,v1)、更に右下端、右上端、左上端の順にそれぞれ(u2,v2)、(u3,v3)、(u4,v4)とする。 The coordinate values ​​in the object coordinates of the lower left corner of the outer frame (u1, v1), further the lower right end, upper right end, respectively in order of the upper left end (u2, v2), (u3, v3), and (u4, v4). これら4つの座標値を前出の説明におけるM1からM4に当てはめ、対象物の位置姿勢の認識が可能になる。 Fitting these four coordinates from M1 in the description supra to M4, it is possible to recognize the position and orientation of the object.
【0132】 [0132]
図4(b)のコードマーカでは、特徴点検出を外枠内側四隅にある4点の検出により実現される以外は図4(a)と同様である。 The code markers of FIG. 4 (b), except that is realized by the detection of four points in the feature point detection in the outer frame inside corner is the same as FIG. 4 (a). この他、図4(c),(d)のコードマーカについても、基本的には図4(a),(b)と同様である。 In addition, FIG. 4 (c), the the code marker (d) also, FIG. 4 is essentially (a), it is the same as (b).
【0133】 [0133]
図4(e)のコードマーカでは、マーク検出は外枠内外の色を変え、その違いを検出することで行い、4点検出については、外枠の内側四隅にある4点の検出により実現する。 The code markers in FIG. 4 (e), the mark detection change the color of the outer frame and out performed by detecting the difference, for the 4-point detection, is realized by detecting four points on the inside corners of the outer frame . さらに、向きは下側の横線(外枠内側)を検出することで認識し、情報は外枠内部の8点(中央の1点は位置認識用)を検出することで取得する。 Furthermore, orientation recognized by detecting the lower horizontal line (outer frame inside) information 8 point inside the outer frame (1 point central for recognition position) acquired by detecting. また、チェックデジットについては、外枠内側左右の2点(2点→2bit)を用いる。 Also, the check digit, two points of the outer frame inside right and left (2 points → 2bit) used. 図4(f)のコードマーカでは、4点検出を外枠外側四隅にある4点の検出により実現する以外は図4(e)と同様である。 The code markers in FIG. 4 (f), except that realized by the detection of the four points in the 4-point detection on the outer frame outer corners is similar to FIG. 4 (e). この他、図4(g)のコードマーカについても、図4(a)乃至(f)と同様である。 In addition, for the code markers of FIG. 4 (g), the it is the same as FIGS. 4 (a) to (f).
【0134】 [0134]
図5は8bitの情報を格納する外枠内部のコードの形状のバリエーションを示したものである。 Figure 5 shows the variation of the shape of the outer frame internal code that stores information on 8bit. すなわち、図5(a)は円形のコード、図5(b)は三角形のコード、図5(c),(d)は四角形のコード、図5(e)は文字コード、図5(f)は線形コード、図5(g)は渦巻き状のコード、により8bitの情報が格納される。 That is, FIG. 5 (a) is a circular code, FIG. 5 (b) triangular code, FIG. 5 (c), (d) square code, FIG. 5 (e) is a character code, FIG. 5 (f) linear code, FIG. 5 (g) is spiral code information of 8bit is stored by. 但し、これらの形状に限定されないことは勿論である。 However, it is of course not limited to these shapes.
【0135】 [0135]
図6は斜め方向から撮影された場合にも、認識率が高い例としてシンメトリー/立体マーク(半球、ピラミット形状)の例を示している。 6 even when taken from an oblique direction, symmetry / solid mark (hemispherical, pyramidal shape) as recognition rate higher example shows an example of. 図6(a)は斜視図であり、図6(b)は上面図、図6(c)は側面図である。 6 (a) is a perspective view, FIG. 6 (b) top view, FIG. 6 (c) is a side view.
【0136】 [0136]
以上によりマーカが複数あり、その中の単一のマーカを解析することにより位置姿勢が検出できる。 Thus the marker is there more, it can be detected by the position and orientation by analyzing the single marker therein.
【0137】 [0137]
マーカの種類を、複数用意しておくことにより、例えばマーカの大きさなどのマーカの種類、建物の部屋番号や部屋、廊下、階段などの場所の属性を表わす情報、として用いることができる。 The type of marker, by previously preparing a plurality can be used, for example, the type of marker, such as size of the marker, the building room number or room, hallway, information representing attributes of the location of the stairs as. また、マーカをLEDやLCDなど自発光型材料で構成することにより、その自発光型材料を制御することや、投影機によりマーカを必要に応じて投影することによりすれば、静的ではなく場合に応じて変更ができる動的なマーカを構築することができる。 Further, by forming the marker in a self-luminous material such as an LED or LCD, and to control the self-luminous material, if by projecting optionally a marker by projector, if not static it is possible to build a dynamic marker that can change depending on the. 更に、これら自発光型材料が非常災害時の緊急灯と同期し、災害発生時に点灯するようにしておけば、災害時の自動誘導灯として用いることが可能になる。 Further, these self-luminous material synchronized with emergency lights emergency disaster, if so as to light up in the event of a disaster, it is possible to use as an automatic guide light disaster.
【0138】 [0138]
道路などでコーナーキューブとして使われているような再帰性材料で構築すれば、撮影装置に取り付けた僅かな光源を利用して動作ができる。 Be constructed by recursive material such as is used as a corner cube, etc. on the road may operate utilizing a small light source attached to the imaging apparatus.
【0139】 [0139]
蛍光材料によりマーカを構成すれば、照明などが無い状態でも動作することができる。 By configuring the marker by fluorescence material, it is possible to work with lighting without such conditions. 更に、投影装置には感度のある赤外や紫外の波長でマーカを構築すれば、人間の目には不可視な状態で景観を損なわずに動作が可能になる。 Furthermore, the projection apparatus be constructed a marker at wavelengths outside the infrared or ultraviolet having sensitivity allows operation without loss of landscapes in an invisible state to the human eye.
【0140】 [0140]
次に第2の実施の形態について説明する。 Next explained is the second embodiment.
【0141】 [0141]
前述した第1の実施の形態に係る3次元位置姿勢センシング装置では、複数のマーカの内の1つのマーカを解析したが、第2の実施の形態では、複数または単数のマーカによる位置姿勢センシングを切り換える手段を備える。 In the three-dimensional position and orientation sensing apparatus according to the first embodiment described above has been analyzed for one marker of the plurality of markers, in the second embodiment, the position and orientation sensing by markers plural or singular comprising a means for switching.
【0142】 [0142]
図9は第2の実施の形態を説明する図で、解析するマーカ数の切り替え手段21を有している。 Figure 9 is a second form of embodiment a view for explaining the have a marker number of the switching means 21 to be analyzed. 切り替え手段21が1つのマーカによる位置姿勢センシング指示する場合には、例えば複数見つかっているマーカ5の内の、画面の中で最も左上に位置するマーカ5を解析し、その外枠から検出された特徴点の座標を位置姿勢推定手段22に渡す。 When the switching means 21 is positioned and orientation sensing indication by one marker, for example a plurality Found by of the markers 5 are analyzes marker 5 located closest to the upper left in the screen, is detected from the outer frame passing the coordinates of the feature point to the position and orientation estimation means 22. また、複数のマーカによる位置姿勢センシングを指示する場合には、同定されたマーカ5の座標を位置姿勢推定手段22に渡す。 Further, in the case of instructing the position and orientation sensing with a plurality of markers passes the coordinates of the markers 5 identified the position and orientation estimation means 22. 位置姿勢推定手段22の動作については、第1の実施の形態の中で詳述しているので、ここでは省略する。 The operation of a position and orientation estimation means 22, since the detailed in the first embodiment is omitted here.
【0143】 [0143]
次に第3の実施の形態について説明する。 Next explained is the third embodiment.
【0144】 [0144]
第3の実施の形態においては、第2の実施の形態における解析するマーカ数の切り替え手段21が、マーカの画面内における視野角により動作をする。 In the third embodiment, the marker number of the switching means 21 for analysis in the second embodiment, the operation by the viewing angle in the screen of the marker. ここで、画面の水平画角に占めるマーカの角度を視野角と呼ぶ。 Here, it referred to as the angle of the marker, which accounts to a horizontal angle of view of the screen and the viewing angle.
【0145】 [0145]
図10にマーカが画像入力された画面を示す。 Showing a screen marker is image input Figure 10.
【0146】 [0146]
水平方向の画面画角が40度、その中に占めるマーカ30から33のそれぞれの水平方向の視野角が15度、3度、5度、5度の場合を示している。 40 degrees horizontal direction of the screen angle, each horizontal view angle of 15 degrees of the marker 30 from 33 occupied therein, 3 degrees, 5 degrees, shows the case of 5 degrees. マーカの中で最大の視野角を持つマーカ30の視野角により単一のマーカでの位置姿勢センシングか、画面内の4つのマーカによるセンシングかを切り替える。 The position and orientation sensing of a single marker with the viewing angle of the marker 30 with the largest viewing angle in the marker, switching between the sensing by four markers in the screen. いま、10度をセンシング切り替えの閾値とする。 Now, to 10 degrees with a threshold value of the sensing switch. 図10の場合は最大の視野角のマーカ30が10度を超えているため単一のマーカによるセンシングを行う。 In the case of FIG. 10 performs sensing by single marker for marker 30 of the largest viewing angle is greater than 10 degrees. 全てのマーカが10度以下の視野角の場合には複数マーカによるセンシングを行う。 Performing sensing by multiple markers when all the markers are in the viewing angle of 10 degrees or less. また、全てのマーカが10度以下で、しかもマーカの個数が3個以下の場合にはセンシングエラーとする。 Also, all of the markers are at 10 degrees or less, yet if the number of markers of 3 or less is a sensing error. ここでは視野角が水平方向の場合を示したが、垂直方向、またその両方を掛け合わせた画像内に占める面積で判定を行うことも可能である。 Here the viewing angle showed the case of the horizontal direction, but it is also possible to judge the vertical direction, and in the area occupied in the image obtained by multiplying both.
【0147】 [0147]
次に、本発明の第4の実施の形態について説明する。 Next, a description will be given of a fourth embodiment of the present invention.
【0148】 [0148]
これは、画像撮影部1以外と対象物4間の3次元位置姿勢を推定する方法に関するものである。 This relates to a method for estimating a three-dimensional position and orientation between the non-image photographing unit 1 and the object 4. 今まで説明してきた実施例では、対象物4と画像撮影部1間の位置関係を計測する例を説明したきた。 In the embodiment described up to now, an example was described of measuring the positional relationship between the object 4 and the image capturing unit 1 north.
より実際的な例の場合には図1に示される画像撮影部1とコンピュータ2は、対象物4の位置姿勢を推定する位置センサとして利用される場合がある。 If a more practical example the image capturing unit 1 and the computer 2 shown in FIG. 1 may be utilized as a position sensor for estimating the position and orientation of the object 4. この際には、該位置センサを含むシステム内に別の装置があり、その別の装置が規定する座標系をシステムが基準とするシステム座標系と考えることが多い。 At this time, there is another device in the system including the position sensor, it is often considered a system coordinate system with the coordinate system on which that another device defines the system reference.
【0149】 [0149]
この場合、コンピュータ2は画像撮影部1が規定するカメラ座標系から別の装置が規定する基準座標系への座標変換パラメータをあらかじめ格納しており、その座標変換パラメータを利用して、コンピュータ2は、オブジェクト座標系から該基準座標系への座標変換パラメータを算出する。 In this case, computer 2 stores a coordinate conversion parameter to the reference coordinate system defining a different device from the camera coordinate system image capturing unit 1 is defined in advance, by utilizing the coordinate transformation parameters, the computer 2 , and calculates the coordinate transformation parameters to the reference coordinate system from the object coordinate system. そして、基準座標系のおける対象物4の3次元位置姿勢を推定する。 Then, to estimate the three-dimensional position and orientation of the object 4 which definitive reference coordinate system.
【0150】 [0150]
第4の実施の形態によれば、本発明の手段を別の装置のための位置姿勢センサとして利用することも可能である。 According to the fourth embodiment, it is also possible to utilize the means of the present invention as a position and orientation sensor for another device.
【0151】 [0151]
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能である。 Having described embodiments of the present invention, the present invention is not limited thereto, but various improvements and modifications within a range not departing from its gist.
【0152】 [0152]
最後に、請求項記載の画像入力手段は画像撮影部1に包含される概念であり、同定手段、単一マーカによる位置姿勢検出手段、複数マーカによる位置姿勢検出手段、切換手段は、コンピュータ2に包含される概念である。 Finally, the image input unit according to claim is a concept included in the image capturing unit 1, the identification means, the position and orientation detection means using a single marker, the position and orientation detection means of a plurality markers, switching means, the computer 2 is a concept that encompassed.
【0153】 [0153]
【発明の効果】 【Effect of the invention】
以上詳述したように、本発明によれば、対象物との位置姿勢関係が既知のマーカを撮影した画像を解析して、当該マーカと撮影手段との相対的位置姿勢関係を求め、これをもって当該対象物の位置及び姿勢を求める場合に、比較的広い領域で測定可能な3次元位置姿勢センシング装置を提供することができる。 As described above in detail, according to the present invention, by analyzing the image position and orientation relationship between the object is photographed known markers, determined the relative position and orientation relationship between the marker and the imaging means, with which when obtaining the position and orientation of the object, it is possible to provide a three-dimensional position and orientation sensing device capable of measuring in a relatively wide area.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】第1の実施の形態に係る3次元位置姿勢センシング装置の構成を示す機能ブロック図である。 1 is a functional block diagram of a three-dimensional position and orientation sensing apparatus according to the first embodiment.
【図2】第1の実施の形態に係る3次元位置姿勢センシング装置の改良例の構成を示す機能ブロック図である。 2 is a functional block diagram showing a configuration of a refinement of the three-dimensional position and orientation sensing apparatus according to the first embodiment.
【図3】カメラ画像面と画像撮影部のカメラ座標系、及びオブジェクト座標系の関係を示した図である。 [3] The camera image plane and the image capturing unit camera coordinate system, and is a diagram showing the relationship between the object coordinate system.
【図4】幾何学的特徴を持ったコードマーカの一例を表したものである。 Is [4] illustrates an example of the code markers having geometric features.
【図5】幾何学的特徴を持ったコードマーカの一例を表したものである。 [5] illustrates an example of code markers having geometric features.
【図6】幾何学的特徴を持ったコードマーカの一例を表したものである。 6 illustrates an example of code markers having geometric features.
【図7】第1の実施の形態において、対象物の3次元位置姿勢を推定する動作の流れを説明するフローチャートである。 [7] In the first embodiment, it is a flowchart illustrating a flow of operations for estimating a three-dimensional position and orientation of the object.
【図8】3個のコードマーカMiに関して3個の3角形ΔOc Mi Mj (i,j=1,2,3;iとjは不等)を示した図である。 [8] three triangles ΔOc respect three code markers Mi Mi Mj (i, j = 1,2,3; i and j are unequal) is a diagram showing a.
【図9】第2の実施の形態に係る3次元位置姿勢センシング装置の構成図である。 9 is a configuration diagram of a three-dimensional position and orientation sensing apparatus according to the second embodiment.
【図10】マーカが画像入力された画面の一例を示す図である。 [10] the marker is a view showing an example of a screen on which an image is input.
【符号の説明】 DESCRIPTION OF SYMBOLS
1 画像撮影部2 コンピュータ3 カメラパラメータ検出部4 対象物5 コードマーカ 1 image photographing unit 2 computer 3 camera parameter detection unit 4 object 5 code markers

Claims (11)

  1. 撮影装置で撮影した画像より、対象物と撮影装置の相対的な3次元位置姿勢関係を計測する装置であって、 From the photographed image by the photographing apparatus, a device for measuring the relative three-dimensional position and orientation relationship of the object with the imaging device,
    上記対象物と3次元位置姿勢関係が既知のマーカとを上記撮影装置で撮影した画像を入力する画像入力手段と、 An image input means for inputting an image in which the object and the three-dimensional position and orientation relationship has taken a known marker in the photographing device,
    上記画像入力手段より入力された画像において、上記マーカを当該マーカの幾何学的特徴を用いて同定する同定手段と、 In the input image from the image input means, identification means for identifying the marker using geometric characteristics of the marker,
    上記同定手段により同定された複数のマーカのうちの1つのマーカの画像を解析して、該マーカと上記撮影装置の相対的位置姿勢関係を求め、上記対象物と上記撮影装置との3次元位置姿勢関係を求める、単一マーカによる位置姿勢検出手段と、 By analyzing the images of one marker of a plurality of markers identified by the identifying means, obtains the relative position and orientation relationship between the marker and the imaging device, the three-dimensional positions between the object and the photographing device calculating pose relationship, and the position and orientation detection means with a single marker,
    上記同定手段で同定された複数のマーカの画像上の位置に基づいて、該マーカと上記撮影装置の相対的な位置姿勢関係を求めて、上記対象物と上記撮影装置の3次元位置姿勢関係を求める、複数マーカによる位置姿勢検出手段と、 Based on the position on the image of a plurality of markers identified above identification means, seek the relative position and orientation relationship of the marker and the photographing device, the three-dimensional position and orientation relationship of the object and the photographing device determining a position and orientation detector with multiple markers,
    上記単一マーカによる位置姿勢検出手段と上記複数マーカによる位置姿勢検出手段を択一的に切換える切換手段と、 And switching means for switching the position and orientation detection means of the position and orientation detection means and said plurality markers by the single marker Alternatively,
    を有し、 I have a,
    上記切換手段は、画像上のマーカの視野角に基づいて、上記単一マーカによる位置姿勢検出手段と上記複数のマーカによる位置姿勢検出手段を切換えることを特徴とする3次元位置姿勢センシング装置。 Said switching means, based on the viewing angle of the marker on the image, the single marker according to the position and orientation detection means and said plurality of 3-dimensional position and orientation sensing apparatus, characterized by switching the position and orientation detection means by the marker.
  2. 上記単一マーカによる位置姿勢検出手段は、上記1つのマーカの画像より複数の特徴部位を検出し、上記特徴部位の画像上での位置関係と上記特徴部位の実際のマーカ上での位置関係とを比較して、上記マーカと上記撮影装置の相対的位置姿勢関係を求めるものであることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 Said single marker according to the position and orientation detection means, said one of detecting a plurality of characteristic portions from the images of the markers, and the positional relationship on the actual marker positional relationship and the feature portion on the image of the characteristic part comparing the three-dimensional position and orientation sensing apparatus according to claim 1, characterized in that to determine the relative position and orientation relationship between the marker and the imaging device.
  3. 上記マーカの形状は4角形以上の多角形であり、上記単一マーカによる位置姿勢検出手段は、この多角形の頂点を上記特徴部位として検出することを特徴とする請求項に記載の3次元位置姿勢センシング装置。 The shape of the marker is square or polygonal, the position and orientation detection means by the single markers, three-dimensional, wherein the vertices of the polygon to claim 2, characterized in that the detected as the feature region position and orientation sensing apparatus.
  4. 上記マーカは、当該マーカの大きさを表わす情報を含むことを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it comprises an information representative of the size of the marker.
  5. 上記マーカは、当該マーカの場所の属性を表わす情報を含むことを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it comprises an information representing the attributes of the location of the marker.
  6. 上記マーカは、自発光型材料で形成されていることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it is formed by self-luminous material.
  7. 上記自発光型材料が用いられたマーカは、非常災害時の緊急灯と同期して点灯することを特徴とする請求項に記載の3次元位置姿勢センシング装置。 The self-marker-emitting material is used, three-dimensional position and orientation sensing apparatus according to claim 6, characterized in that the lighting in synchronism with the emergency lamp emergency disaster.
  8. 上記マーカは、入射光を反射して入射光路を逆進させる再帰性材料により形成されていることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it is formed by a recursive material for reversing the incident light path to reflect incident light.
  9. 上記マーカは、蛍光材料で形成されていることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that it is formed with a fluorescent material.
  10. 上記マーカは、人間の目には不可視であることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that the human eye is invisible.
  11. 上記マーカは、投影機で投影されたものであることを特徴とする請求項1に記載の3次元位置姿勢センシング装置。 The marker is 3-dimensional position and orientation sensing apparatus according to claim 1, characterized in that projected by projector.
JP2000284318A 2000-09-19 2000-09-19 3-dimensional position and orientation sensing apparatus Expired - Fee Related JP4282216B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000284318A JP4282216B2 (en) 2000-09-19 2000-09-19 3-dimensional position and orientation sensing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000284318A JP4282216B2 (en) 2000-09-19 2000-09-19 3-dimensional position and orientation sensing apparatus
US09/951,873 US6697761B2 (en) 2000-09-19 2001-09-13 Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system

Publications (2)

Publication Number Publication Date
JP2002090118A JP2002090118A (en) 2002-03-27
JP4282216B2 true JP4282216B2 (en) 2009-06-17

Family

ID=18768545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000284318A Expired - Fee Related JP4282216B2 (en) 2000-09-19 2000-09-19 3-dimensional position and orientation sensing apparatus

Country Status (1)

Country Link
JP (1) JP4282216B2 (en)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937696B1 (en) 1998-10-23 2005-08-30 Varian Medical Systems Technologies, Inc. Method and system for predictive physiological gating
US7769430B2 (en) 2001-06-26 2010-08-03 Varian Medical Systems, Inc. Patient visual instruction techniques for synchronizing breathing with a medical procedure
US7676079B2 (en) 2003-09-30 2010-03-09 Canon Kabushiki Kaisha Index identification method and apparatus
KR100542370B1 (en) 2004-07-30 2006-01-03 한양대학교 산학협력단 Vision-based augmented reality system using invisible marker
US9119541B2 (en) 2005-08-30 2015-09-01 Varian Medical Systems, Inc. Eyewear for patient prompting
US7444752B2 (en) 2005-09-28 2008-11-04 Hunter Engineering Company Method and apparatus for vehicle service system optical target
US8341848B2 (en) 2005-09-28 2013-01-01 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
US7957931B2 (en) * 2005-12-23 2011-06-07 Gcoder Systems Ab Positioning pattern
JP2007206807A (en) * 2006-01-31 2007-08-16 Nippon Hoso Kyokai <Nhk> Image composing device and image composing program
EP1998289A1 (en) * 2006-03-20 2008-12-03 Olympus Corporation Information terminal device
JP5063023B2 (en) * 2006-03-31 2012-10-31 キヤノン株式会社 Position / orientation correction apparatus and position / orientation correction method
JP5084167B2 (en) * 2006-03-31 2012-11-28 キヤノン株式会社 Position and orientation measurement method and apparatus
JP5517397B2 (en) * 2006-08-11 2014-06-11 キヤノン株式会社 Image processing method and image processing apparatus
JP4918830B2 (en) * 2006-08-31 2012-04-18 富士ゼロックス株式会社 Position measurement system
JP5403861B2 (en) * 2006-11-06 2014-01-29 キヤノン株式会社 Information processing apparatus and information processing method
JP5132138B2 (en) * 2006-11-28 2013-01-30 キヤノン株式会社 Position and orientation measurement method, position and orientation measurement device
JP2009134677A (en) * 2007-02-28 2009-06-18 Fuji Xerox Co Ltd Gesture interface system, wand for gesture input, application control method, camera calibration method, and control program
US8417315B2 (en) * 2007-05-14 2013-04-09 Varian Medical Systems, Inc. Marker systems with spaced apart surfaces or markers and methods of using the same
EP2636989B1 (en) * 2007-05-21 2017-04-19 Snap-on Incorporated Method and apparatus for wheel alignment
US7953247B2 (en) 2007-05-21 2011-05-31 Snap-On Incorporated Method and apparatus for wheel alignment
JP2008304269A (en) * 2007-06-06 2008-12-18 Sony Corp Information processor, information processing method, and computer program
TWI384407B (en) * 2008-02-29 2013-02-01 Ind Tech Res Inst Region identification system by using braille code design
JP2010160051A (en) * 2009-01-08 2010-07-22 Mitsutoyo Corp Correcting pattern for image devices
JP2012007942A (en) * 2010-06-23 2012-01-12 Fuji Xerox Co Ltd Position measurement device
JP5494427B2 (en) * 2010-11-12 2014-05-14 富士通株式会社 Image processing program and image processing apparatus
WO2013005244A1 (en) * 2011-07-01 2013-01-10 株式会社ベイビッグ Three-dimensional relative coordinate measuring device and method
JP2013185851A (en) * 2012-03-06 2013-09-19 Sumitomo Mitsui Construction Co Ltd Positioning apparatus, positioning system including the same, and positioning method
JP5928228B2 (en) * 2012-07-31 2016-06-01 カシオ計算機株式会社 Subject detection apparatus, subject detection method, and program
EP2706376A1 (en) * 2012-09-07 2014-03-12 Leica Geosystems AG Laser tracker with hybrid imaging method for expanding measurement range
JP6083747B2 (en) * 2012-10-24 2017-02-22 国立研究開発法人産業技術総合研究所 Position and orientation detection system
WO2014069247A1 (en) 2012-11-02 2014-05-08 ソニー株式会社 Image processing device, image processing method, and program
TWI520100B (en) * 2014-03-17 2016-02-01 Wistron Corp Positioning method and system free space
US10126119B2 (en) * 2017-01-17 2018-11-13 General Electric Company Methods of forming a passive strain indicator on a preexisting component
US20180210971A1 (en) * 2017-01-23 2018-07-26 General Electric Company Methods of making and monitoring a component with an integral strain indicator
US20180209781A1 (en) * 2017-01-23 2018-07-26 General Electric Company Method of Making a Component with an Integral Strain Indicator
US20180209782A1 (en) * 2017-01-24 2018-07-26 General Electric Company Methods of Making a Component with an Integral Strain Indicator

Also Published As

Publication number Publication date
JP2002090118A (en) 2002-03-27

Similar Documents

Publication Publication Date Title
Schmid et al. The geometry and matching of lines and curves over multiple views
Neumann et al. A self-tracking augmented reality system
Micusik et al. Estimation of omnidirectional camera model from epipolar geometry
JP3512992B2 (en) Image processing apparatus and image processing method
US7324670B2 (en) Face image processing apparatus and method
US7336814B2 (en) Method and apparatus for machine-vision
AU2008296518B2 (en) System and method for three-dimensional measurement of the shape of material objects
CN102612704B (en) Description for providing for at least one feature of the character image and a method for matching feature
JP3735344B2 (en) Calibration apparatus, a calibration method, and calibration program
JP4245963B2 (en) Method and system for calibrating multiple cameras using calibration object
US7529387B2 (en) Placement information estimating method and information processing device
JP4926817B2 (en) Index arrangement information measuring apparatus and method
CN101408931B (en) System and method for 3d object recognition
JP4307934B2 (en) Imaging apparatus and method with an image correction function, as well as photographing apparatus and method
US9234749B2 (en) Enhanced object reconstruction
US8929608B2 (en) Device and method for recognizing three-dimensional position and orientation of article
US20060017720A1 (en) System and method for 3D measurement and surface reconstruction
US20100295926A1 (en) Fast Three Dimensional Recovery Method and Apparatus
US20020097906A1 (en) Method and apparatus for collating object
JP5618569B2 (en) Position and orientation estimation apparatus and method
CN102773862B (en) Quick and accurate locating system used for indoor mobile robot and working method thereof
CN103503025B (en) Determining the model parameters based on a model of the object to transform
US6781618B2 (en) Hand-held 3D vision system
JP2919284B2 (en) Object recognition method
EP1986154A1 (en) Model-based camera pose estimation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090317

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140327

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees