JP6040264B2 - Information processing apparatus, information processing apparatus control method, and program - Google Patents
Information processing apparatus, information processing apparatus control method, and program Download PDFInfo
- Publication number
- JP6040264B2 JP6040264B2 JP2015026964A JP2015026964A JP6040264B2 JP 6040264 B2 JP6040264 B2 JP 6040264B2 JP 2015026964 A JP2015026964 A JP 2015026964A JP 2015026964 A JP2015026964 A JP 2015026964A JP 6040264 B2 JP6040264 B2 JP 6040264B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- dimensional
- geometric
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
本発明は、３次元計測装置、処理方法及びプログラムに関する。 The present invention relates to a three-dimensional measurement apparatus, a processing method, and a program.
近年、ロボット技術の発展とともに、これまで人間が行なっていた複雑なタスク（例えば、工業製品の組立）をロボットが代わりに行なうようになりつつある。このようなロボットは、ハンドなどのエンドエフェクタによって部品を把持して組立を行なう。 In recent years, with the development of robot technology, robots are beginning to perform complex tasks (for example, assembly of industrial products) that have been performed by humans instead. Such a robot performs assembly by gripping a part with an end effector such as a hand.
ロボットが部品を把持するためには、把持の対象となる部品とロボット（ハンド）との間の相対的な位置及び姿勢を計測（推定）する必要がある。このような位置及び姿勢の計測は、ロボットが部品を把持する場合だけでなく、ロボットが自律移動するための自己位置推定や、拡張現実感における現実空間と仮想物体との位置合わせなど様々な目的に利用される。 In order for the robot to grip the part, it is necessary to measure (estimate) the relative position and orientation between the part to be gripped and the robot (hand). Such position and orientation measurements are not only used when the robot grips a part, but also for various purposes such as self-position estimation for the robot to move autonomously and alignment of the real space and virtual object in augmented reality. Used for
位置及び姿勢の計測では、カメラが撮影する２次元画像や距離センサから得られる距離画像を利用する手法が知られている。例えば、モデルフィッティングによる計測が知られている。この計測においては、２次元画像上から検出される特徴や距離画像に対して、物体の３次元形状モデルを当てはめる。 In the measurement of position and orientation, a technique using a two-dimensional image captured by a camera or a distance image obtained from a distance sensor is known. For example, measurement by model fitting is known. In this measurement, a three-dimensional shape model of an object is applied to a feature or distance image detected from a two-dimensional image.
２次元画像に対するモデルフィッティングでは、３次元形状モデルを画像上に投影した投影像を、２次元画像から検出された特徴に当てはめることにより位置及び姿勢を計測する。距離画像に対するモデルフィッティングでは、距離画像の各点を３次元座標を持つ３次元点群に変換し、３次元空間において、当該３次元点群に３次元形状モデルを当てはめることにより位置及び姿勢を計測する。 In model fitting for a two-dimensional image, a position and orientation are measured by applying a projection image obtained by projecting a three-dimensional shape model onto the image to features detected from the two-dimensional image. In model fitting for distance images, each point in the distance image is converted into a 3D point group having 3D coordinates, and the position and orientation are measured by applying a 3D shape model to the 3D point group in 3D space. To do.
２次元画像を用いて位置及び姿勢を計測する方法として、エッジを利用してカメラの位置及び姿勢を計測する手法が知られている（非特許文献１）。この方法では、物体の３次元形状を線分の集合（ワイヤフレームモデル）で表し、画像上で検出されるエッジに３次元の線分の投影像を当てはめることにより、物体の位置及び姿勢を計測する。具体的には、まず、位置及び姿勢の概略値をもとに３次元の線分を画像上へ投影し、投影された線分の近傍でエッジ検出を行なう。次に、位置及び姿勢の概略値に基づいた線分の投影像とそれに対応するエッジとの画像上における距離の総和が最小化されるように、非線形最適化により対象物体の位置及び姿勢を計測する。 As a method for measuring the position and orientation using a two-dimensional image, a method for measuring the position and orientation of a camera using an edge is known (Non-Patent Document 1). In this method, the three-dimensional shape of an object is represented by a set of line segments (wireframe model), and the projected position of the object is measured by applying a projected image of the three-dimensional line segment to the edge detected on the image. To do. Specifically, first, a three-dimensional line segment is projected onto an image based on approximate values of position and orientation, and edge detection is performed in the vicinity of the projected line segment. Next, the position and orientation of the target object are measured by nonlinear optimization so that the total sum of the distance between the projected image of the line segment based on the approximate values of the position and orientation and the corresponding edge on the image is minimized. To do.
一方、距離画像を用いて位置及び姿勢を計測する方法として、ＩＣＰ（Iterative Closest Point）アルゴリズムを利用する手法が知られている（非特許文献２）。この方法では、距離画像から変換された３次元点群データに物体の３次元形状モデルをあてはめることにより、物体の位置及び姿勢を計測する。位置及び姿勢の概略値に基づいて各３次元点に最も近い３次元形状モデルの幾何特徴の探索と、点と３次元形状モデルの幾何特徴との距離の総和が最小となるような位置及び姿勢の更新を繰り返し行なう。 On the other hand, a method using an ICP (Iterative Closest Point) algorithm is known as a method for measuring position and orientation using a distance image (Non-patent Document 2). In this method, the position and orientation of an object are measured by fitting a three-dimensional shape model of the object to the three-dimensional point cloud data converted from the distance image. A search for the geometric feature of the 3D geometric model closest to each 3D point based on the approximate values of the location and orientation, and a position and orientation that minimizes the sum of the distance between the point and the geometric feature of the 3D geometric model Repeat the update.
距離画像を用いて物体の位置及び姿勢を計測する手法では、点群データの各点に対応する３次元形状モデルの面の探索時に高負荷な演算処理が生じる。これに対処するため、特許文献１には、複数の距離画像の位置合わせ時の対応探索処理を高速化した技術が開示されている。この手法では、距離画像にインデックス値を割り当てた微小面（メッシュ）を当てはめ、インデックス値を重複しない色に変換して各メッシュの色とし、距離画像の撮影位置及び姿勢に基づいてメッシュを描画したインデックス画像を生成する。そして、別の距離画像から変換された３次元点群を、撮影時の位置及び姿勢に基づいてインデックス画像に投影し、投影された３次元点の座標値から対応するインデックス画像上の色を取得する。その後、当該取得した色に対応するインデックス値を逆変換することによってメッシュと距離画像から変換した３次元点とを対応付ける。これにより、対応探索の高速化を実現している。 In the method of measuring the position and orientation of an object using a distance image, a high-load calculation process occurs when searching for a surface of a three-dimensional shape model corresponding to each point of point cloud data. In order to cope with this, Patent Document 1 discloses a technique that speeds up the correspondence search process when aligning a plurality of distance images. In this method, a minute surface (mesh) to which an index value is assigned is applied to the distance image, the index value is converted to a color that does not overlap, and each mesh color is drawn, and the mesh is drawn based on the shooting position and orientation of the distance image. Generate an index image. Then, a three-dimensional point group converted from another distance image is projected onto the index image based on the position and orientation at the time of shooting, and the corresponding color on the index image is obtained from the coordinate value of the projected three-dimensional point. To do. Thereafter, the index value corresponding to the acquired color is inversely converted to associate the mesh with the three-dimensional point converted from the distance image. As a result, the correspondence search is speeded up.
上述したインデックス画像を用いた位置合わせ手法（特許文献１）では、距離画像同士を位置合わせするため、距離画像から抽出した全ての３次元点を２次元画像に投影して対応付けを行なう。そのため、例えば、対象物体以外の物体を含む画像の中から当該対象物体の位置及び姿勢を計測する場合、対象物体以外の計測点を含む全ての計測点を密に投影しなければならないので、処理に無駄が多い。 In the above-described alignment method using the index image (Patent Document 1), in order to align the distance images, all three-dimensional points extracted from the distance image are projected onto the two-dimensional image for association. Therefore, for example, when measuring the position and orientation of the target object from an image including an object other than the target object, all measurement points including measurement points other than the target object must be densely projected. There is a lot of waste.
また、特許文献１の手法の場合、３次元形状モデルによっては、メッシュが投影時につぶれないように当該モデルを再メッシュ化する必要がある。そのため、対象物体のＣＡＤモデルを３次元形状モデルとしてそのまま利用することは難しい。また更に、メッシュを２次元平面に高速に描画するには、ＧＰＵ（Graphics Processing Unit）などの専用のハードウェアが必要となる。 In the case of the technique disclosed in Patent Document 1, depending on the three-dimensional shape model, it is necessary to re-mesh the model so that the mesh does not collapse during projection. Therefore, it is difficult to directly use the CAD model of the target object as a three-dimensional shape model. Furthermore, dedicated hardware such as a GPU (Graphics Processing Unit) is required to draw a mesh on a two-dimensional plane at high speed.
また更に、非特許文献１の手法の場合、３次元形状モデルの幾何特徴である線分を、対象物体の裏面（計測されない部分）にある線分も含めて全て画像上へ投影しなければならない。そのため、非特許文献１の手法の場合にも、処理に無駄が生じる。 Furthermore, in the case of the method of Non-Patent Document 1, all the line segments that are geometric features of the three-dimensional shape model must be projected onto the image, including the line segments on the back surface (the part that is not measured) of the target object. . Therefore, even in the case of the technique of Non-Patent Document 1, processing is wasted.
ここで、２次元画像を用いる手法は、例えば、直線を基調としたような人工的な物体が多い環境などに適しており、距離画像を利用する手法は、例えば、滑らかな面を複数持つような物体に適しているといえる。 Here, the method using a two-dimensional image is suitable for an environment with many artificial objects such as a straight line, and the method using a distance image has, for example, a plurality of smooth surfaces. It can be said that it is suitable for an object.
２次元画像を用いる場合と、距離画像を用いる場合では、計測される情報の性質が異なるため、２次元画像へのモデルフィッティングと距離画像へのモデルフィッティングとを組み合わせることにより位置及び姿勢の計測精度の向上が期待できる。２次元画像へのモデルフィッティングでは、上述した通り、２次元画像に対してエッジなどの３次元形状モデルの幾何特徴を投影し、対応する２次元画像上の幾何特徴を探索する処理を行なう。距離画像へのモデルフィッティングでは、上述した通り、３次元形状モデルの幾何特徴ではなく計測点を投影する。すなわち、両者における対応付けの方法は異なっている。 When using a two-dimensional image and using a distance image, the nature of the information to be measured is different. Therefore, the position and orientation measurement accuracy can be obtained by combining the model fitting to the two-dimensional image and the model fitting to the distance image. Improvement can be expected. In the model fitting to the two-dimensional image, as described above, a geometric feature of a three-dimensional shape model such as an edge is projected onto the two-dimensional image, and a process for searching for the corresponding geometric feature on the two-dimensional image is performed. In model fitting to a distance image, as described above, measurement points are projected instead of geometric features of a three-dimensional shape model. That is, the correspondence method in both is different.
そのため、同じ枠組みで対応付け処理を行なうことができず、２次元画像と距離画像とを併用して対象物体の位置及び姿勢を計測する際には、それぞれ独立に対応付けを行わなければならなかった。 For this reason, it is not possible to perform association processing in the same framework, and when measuring the position and orientation of a target object using both a two-dimensional image and a distance image, association must be performed independently. It was.
本発明は、上記課題に鑑みてなされたものであり、３次元形状モデルと計測データとの対応付け時に実施する演算の効率化を図り、対象物体の位置及び姿勢の算出を高速化できるようにした技術を提供する。 The present invention has been made in view of the above-described problems, so as to improve the efficiency of calculations performed when associating a three-dimensional shape model with measurement data, and to speed up the calculation of the position and orientation of the target object. Technology provided.
上記課題を解決するため、本発明の一態様に係る情報処理装置は、
対象物体までの距離を画素に格納する距離画像及び前記対象物体の形状を表す二次元画像を取得する画像取得手段と、
前記対象物体の三次元形状モデルの複数の幾何特徴を保持する保持手段と、
前記対象物体の概略位置姿勢を取得する取得手段と、
前記対象物体の概略位置姿勢に基づいて、前記対象物体の三次元形状モデルの複数の幾何特徴のうちの第１の幾何特徴と、前記距離画像上の第１の特徴とを対応付け、前記対象物体の三次元形状モデルの複数の幾何特徴のうちの第２の幾何特徴と、前記二次元画像上の第２の特徴とを対応付ける対応付け手段と、
前記対応付け手段の対応付け結果に基づいて、前記対象物体の位置および姿勢を導出する導出手段と
を備えることを特徴とする。
In order to solve the above problem, an information processing device according to one embodiment of the present invention provides:
A distance image that stores the distance to the target object in a pixel, and an image acquisition unit that acquires a two-dimensional image representing the shape of the target object;
Holding means for holding a plurality of geometric features of a three-dimensional shape model of the target object;
Obtaining means for obtaining a rough position and orientation of the target object ;
On the basis of the approximate position and orientation of the target object, associates the first geometric feature of the plurality of geometric features of the three-dimensional shape model of the object, a first feature on the leading SL range image, the and associating means for associating a second geometric feature of the plurality of geometric features of the three-dimensional shape model of the target object, and a second feature on the two-dimensional image,
Derivation means for deriving the position and orientation of the target object based on the association result of the association means .
本発明によれば、３次元形状モデルと計測データとの対応付け時に実施する演算の効率化を図れる。これにより、対象物体の位置及び姿勢の算出速度を向上させられる。 According to the present invention, it is possible to improve the efficiency of calculations performed when a three-dimensional shape model is associated with measurement data. Thereby, the calculation speed of the position and orientation of the target object can be improved.
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
（実施形態１）
図１は、本発明の一実施の形態に係わる３次元計測装置の構成の一例を示している。なお、３次元計測装置１０には、コンピュータが内蔵されている。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。
(Embodiment 1)
FIG. 1 shows an example of the configuration of a three-dimensional measuring apparatus according to an embodiment of the present invention. Note that the three-dimensional measuring apparatus 10 has a built-in computer. The computer includes main control means such as a CPU, and storage means such as ROM (Read Only Memory), RAM (Random Access Memory), and HDD (Hard Disk Drive). In addition, the computer may include other input / output means such as buttons, a display, or a touch panel, and communication means such as a network card. These components are connected by a bus or the like, and are controlled by the main control unit executing a program stored in the storage unit.
３次元計測装置１０は、３次元形状モデルの幾何特徴上の（任意の）点を２次元平面に投影し、当該２次元平面上における投影点から所定範囲内の領域にある２次元平面（距離画像）上の幾何特徴を探索する。これにより、３次元形状モデルの幾何特徴と距離画像上の幾何特徴とを対応付け、その対応付けに基づいて対象物体の位置及び姿勢を算出する。 The three-dimensional measuring apparatus 10 projects (arbitrary) points on the geometric features of the three-dimensional shape model onto a two-dimensional plane, and the two-dimensional plane (distance) within a predetermined range from the projected point on the two-dimensional plane. Search for geometric features on the image. Thereby, the geometric feature of the three-dimensional shape model is associated with the geometric feature on the distance image, and the position and orientation of the target object are calculated based on the correspondence.
ここで、３次元計測装置１０は、画像取得部１１０と、概略値取得部１２０と、モデル保持部１３０と、幾何特徴選択部１４０と、対応探索部１５０と、位置姿勢算出部１６０とを具備して構成される。 Here, the three-dimensional measurement apparatus 10 includes an image acquisition unit 110, an approximate value acquisition unit 120, a model holding unit 130, a geometric feature selection unit 140, a correspondence search unit 150, and a position / orientation calculation unit 160. Configured.
画像取得部１１０は、距離画像を取得する。本実施形態においては、画像取得部１１０は、例えば、距離画像を撮影する距離センサにより実現されるが、これに限られず、外部の距離センサにより撮影された距離画像を単に取得する構成であっても良い。距離画像は、各画素が奥行きの情報（距離情報）を持つ画像である。距離センサには、対象に照射したレーザ光やスリット光の反射光をカメラで撮影し、三角測量により距離を計測するアクティブ式を採用すれば良い。なお、距離センサは、距離画像を撮影できればよく、その方式は特に問わない。例えば、光の飛行時間を利用するＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式を採用しても良いし、ステレオカメラが撮影した画像から三角測量によって各画素の奥行きを計算するパッシブ式を採用しても良い。また、距離センサの撮影パラメータ（撮影時の画角や解像度、焦点距離など）は、既知であるものとする。撮影パラメータは、後述する対応探索部１５０において利用される。 The image acquisition unit 110 acquires a distance image. In the present embodiment, the image acquisition unit 110 is realized by, for example, a distance sensor that captures a distance image. However, the image acquisition unit 110 is not limited to this, and simply acquires a distance image captured by an external distance sensor. Also good. The distance image is an image in which each pixel has depth information (distance information). The distance sensor may be an active type in which reflected light of laser light or slit light irradiated on the object is photographed with a camera and the distance is measured by triangulation. The distance sensor is not particularly limited as long as it can capture a distance image. For example, a Time-of-flight method that uses the time of flight of light may be employed, or a passive method that calculates the depth of each pixel by triangulation from an image captured by a stereo camera may be employed. In addition, it is assumed that the shooting parameters of the distance sensor (view angle, resolution, focal length, etc. at the time of shooting) are known. The shooting parameters are used in the correspondence search unit 150 described later.
概略値取得部１２０は、３次元計測装置１０に対する物体の位置及び姿勢の概略値を取得する。本実施形態において、３次元計測装置１０に対する物体の位置及び姿勢とは、画像取得部１１０を基準とした物体の位置及び姿勢を表すが、必ずしも画像取得部１１０を基準にする必要はない。例えば、画像取得部１１０の座標系に対する物体の相対的な位置及び姿勢が既知であり、且つその位置及び姿勢が変化しないのであれば、３次元計測装置１０におけるその他の部分を基準としても良い。 The approximate value acquisition unit 120 acquires approximate values of the position and orientation of the object with respect to the three-dimensional measurement apparatus 10. In the present embodiment, the position and orientation of the object with respect to the three-dimensional measurement apparatus 10 represent the position and orientation of the object with reference to the image acquisition unit 110, but are not necessarily based on the image acquisition unit 110. For example, if the relative position and orientation of the object with respect to the coordinate system of the image acquisition unit 110 are known and the position and orientation do not change, other parts in the three-dimensional measurement apparatus 10 may be used as a reference.
また、本実施形態においては、物体の位置及び姿勢の概略値として、３次元計測装置１０が当該物体から過去（例えば、直前）に計測した計測値を用いるが、物体の位置及び姿勢の概略値は、必ずしもこのような値である必要はない。例えば、過去に計測した物体の位置及び姿勢の計測値に対して時系列フィルタリング処理（例えば、線形フィルタ、カルマンフィルタ）を実施し、物体の運動速度や角速度を推定する。そして、その推定結果に基づいて物体の位置及び姿勢を予測した値を概略値としても良い。また、センサから得られる物体の位置及び姿勢を概略値としても良い。ここで、センサは、物体の位置及び姿勢を６自由度で計測できればよく、その方式（例えば、磁気式、光学式、超音波式）は、特に問わない。なお、物体の置かれているおおよその位置や姿勢が予め分かっているのであれば、その値を概略値として用いても良い。また更に、物体を含む情景を撮影した撮影画像や距離画像に対して物体認識処理を実施することにより、物体の位置及び姿勢の概略値を計測するようにしても良い。 In the present embodiment, as the approximate value of the position and orientation of the object, the measurement value measured by the three-dimensional measurement apparatus 10 in the past (for example, immediately before) from the object is used, but the approximate value of the position and orientation of the object is used. Is not necessarily such a value. For example, a time-series filtering process (for example, a linear filter or a Kalman filter) is performed on the measured values of the position and orientation of the object measured in the past, and the motion speed and angular velocity of the object are estimated. A value obtained by predicting the position and orientation of the object based on the estimation result may be used as the approximate value. The position and orientation of the object obtained from the sensor may be approximate values. Here, the sensor only needs to be able to measure the position and orientation of the object with six degrees of freedom, and the method (for example, magnetic type, optical type, ultrasonic type) is not particularly limited. If the approximate position or posture where the object is placed is known in advance, the value may be used as the approximate value. Furthermore, an approximate value of the position and orientation of the object may be measured by performing object recognition processing on a captured image or a distance image obtained by capturing a scene including the object.
モデル保持部１３０は、対象物体（単に物体と呼ぶ場合もある）の３次元幾何モデルデータ（以下、３次元形状モデルと呼ぶ場合もある）を保持する。３次元形状モデルは、従来同様のものを用いればよいため、ここでは詳細な説明については省略するが、例えば、点の集合や各点を結んで構成される面の情報、面を構成する線分の情報によって定義される。 The model holding unit 130 holds three-dimensional geometric model data (hereinafter also referred to as a three-dimensional shape model) of a target object (sometimes simply referred to as an object). Since a three-dimensional shape model may be the same as that used in the past, detailed description is omitted here. For example, a set of points, information on a surface formed by connecting each point, and lines constituting the surface Defined by minute information.
幾何特徴選択部１４０は、対象物体の３次元形状モデルから任意の幾何特徴上の点を選択する。本実施形態においては、３次元形状モデルは、複数のＮＵＲＢＳ（Non-Uniform Rational B-Spline）曲面で構成されているものとし、当該モデルの幾何特徴は、各ＮＵＲＢＳ曲面上から均一にサンプリングした点と法線との組とする。勿論、これに限られず、例えば、３次元形状モデルの幾何特徴は、ＮＵＲＢＳ曲面そのものであっても良いし、３次元形状モデルがメッシュ表現されていれば、メッシュであっても良い。 The geometric feature selection unit 140 selects a point on an arbitrary geometric feature from the three-dimensional shape model of the target object. In this embodiment, it is assumed that the three-dimensional shape model is composed of a plurality of NURBS (Non-Uniform Rational B-Spline) curved surfaces, and the geometric features of the model are uniformly sampled from each NURBS curved surface. And the normal. Of course, the present invention is not limited to this. For example, the geometric feature of the three-dimensional shape model may be a NURBS curved surface itself, or may be a mesh if the three-dimensional shape model is represented by a mesh.
また、幾何特徴選択部１４０では、３次元形状モデルや計測データから計測し易い幾何特徴や、位置及び姿勢の算出時の計算に有効な幾何特徴が予め規定された情報に基づいて上記選択を行なっても良い。すなわち、後述する位置姿勢算出部１６０において、対象物体の位置及び姿勢を算出する際に利用可能な幾何特徴であれば良い。幾何特徴選択部１４０により任意の幾何特徴を選択するため、対象物体以外の物体が撮影された画像に対して位置及び姿勢の計測を行なう場合であっても、計算量を増やすことなく対応付けを行なえる。 The geometric feature selection unit 140 performs the above selection based on information that prescribes geometric features that are easy to measure from a three-dimensional shape model and measurement data, and geometric features that are effective for calculation when calculating the position and orientation. May be. In other words, any geometric feature that can be used when the position and orientation calculation unit 160 described later calculates the position and orientation of the target object may be used. Since an arbitrary geometric feature is selected by the geometric feature selection unit 140, even if the position and orientation are measured for an image obtained by photographing an object other than the target object, the association is performed without increasing the calculation amount. Yes.
幾何特徴選択部１４０では、距離センサの撮影パラメータと、概略値取得部１２０により取得された物体の位置及び姿勢の概略値とに基づいて３次元形状モデルの幾何特徴上の点を選択する。これにより、距離画像から計測可能な幾何特徴のみが選択される。 The geometric feature selection unit 140 selects a point on the geometric feature of the three-dimensional shape model based on the imaging parameters of the distance sensor and the approximate values of the position and orientation of the object acquired by the approximate value acquisition unit 120. Thereby, only the geometric features that can be measured from the distance image are selected.
具体的には、３次元形状モデルを全方向から描画し、各方向から見える３次元形状モデルの幾何特徴を各方向に対応付けて登録する。これにより、幾何特徴選択部１４０では、物体の位置及び姿勢の概略値と撮影パラメータとから算出される視線ベクトルに最も近い方向に登録された幾何特徴を選択する。なお、各方向のベクトルと幾何特徴の法線との内積を比較し、方向ベクトルと幾何特徴の法線とが対向している幾何特徴のみを登録するようにしても良い。 Specifically, the three-dimensional shape model is drawn from all directions, and the geometric features of the three-dimensional shape model seen from each direction are registered in association with each direction. Accordingly, the geometric feature selection unit 140 selects a geometric feature registered in the direction closest to the line-of-sight vector calculated from the approximate values of the position and orientation of the object and the imaging parameters. Note that the inner product of the vector of each direction and the normal of the geometric feature may be compared, and only the geometric feature in which the direction vector and the normal of the geometric feature are opposed may be registered.
なお、幾何特徴選択部１４０による幾何特徴上の点の選択は、ユーザ指示に基づいて行なわれても良い。すなわち、ユーザが、対象物体の３次元形状モデルが表示されたＧＵＩを参照しながら、手動で選択しても良い。また、各幾何特徴の表面の中心を３次元形状モデルの幾何特徴上の点として選択しても良い。その他、「A.E. Johnson and M. Hebert, “Efficient multiple model recognition in cluttered 3-d scenes, " Proc. Computer Vision and Pattern Recognition, pp. 671-677, 1998.］で開示されているような特徴検出器により検出される点を３次元形状モデルの幾何特徴上の点として選択しても良い。また更に、概略値取得部１２０により取得された物体の位置及び姿勢の概略値に基づいて、距離画像上で均一になるような点を選択しても良い。具体的には、物体の位置及び姿勢の概略値と距離センサの撮影パラメータとに基づき３次元形状モデルを２次元画像上に投影し、２次元画像上で均一にサンプリングした３次元形状モデル上の点を３次元空間に逆投影する。これにより、距離画像上で均一になる幾何特徴上の点を算出しそれを選択する。その他、３次元形状モデルの表面上から当該モデルの幾何特徴上の点を選択するのであれば、その方法は特に問わない。 Note that the selection of points on the geometric feature by the geometric feature selection unit 140 may be performed based on a user instruction. That is, the user may select manually while referring to the GUI on which the three-dimensional shape model of the target object is displayed. Further, the center of the surface of each geometric feature may be selected as a point on the geometric feature of the three-dimensional shape model. Other feature detectors as disclosed in “AE Johnson and M. Hebert,“ Efficient multiple model recognition in cluttered 3-d scenes, ”Proc. Computer Vision and Pattern Recognition, pp. 671-677, 1998.] May be selected as a point on the geometric feature of the three-dimensional shape model, and further on the distance image based on the approximate value of the position and orientation of the object acquired by the approximate value acquisition unit 120. In other words, a 3D shape model is projected on the 2D image based on the approximate values of the position and orientation of the object and the imaging parameters of the distance sensor. The points on the three-dimensional shape model sampled uniformly on the three-dimensional image are back-projected to the three-dimensional space, thereby calculating and selecting the points on the geometric feature that are uniform on the distance image. From the surface of the 3D shape model The method is not particularly limited as long as a point on the geometric feature of the model is selected.
対応探索部１５０は、３次元形状モデルの幾何特徴と、距離画像上の幾何特徴とを対応付ける。そして、当該対応付けた３次元形状モデルの幾何特徴と、距離画像上の幾何特徴との組を出力する。 The correspondence search unit 150 associates the geometric feature of the three-dimensional shape model with the geometric feature on the distance image. Then, a set of the geometric feature of the associated three-dimensional shape model and the geometric feature on the distance image is output.
対応探索部１５０では、図２に示すように、幾何特徴選択部１４０により選択された点２４０を２次元平面（投影面）２２０に投影する。なお、この投影は、距離画像の既知である撮影パラメータ（画角や解像度、焦点距離など）と、概略値取得部１２０により取得された物体の位置及び姿勢の概略値とに基づいて行なわれる。「式１」は、焦点距離がｆである場合に、幾何特徴選択部１４０により選択された点の３次元座標（ｘ，ｙ，ｚ）を２次元平面（投影面）上の座標（ｕ，ｖ）に透視投影変換する式である。
［式１］
（ｕ，ｖ）Ｔ＝（ｆ・ｘ／ｚ，ｆ・ｙ／ｚ）Ｔ
As shown in FIG. 2, the correspondence search unit 150 projects the point 240 selected by the geometric feature selection unit 140 onto a two-dimensional plane (projection plane) 220. This projection is performed based on the known shooting parameters (field angle, resolution, focal length, etc.) of the distance image and the approximate values of the position and orientation of the object acquired by the approximate value acquisition unit 120. “Expression 1” indicates that when the focal length is f, the three-dimensional coordinates (x, y, z) of the point selected by the geometric feature selection unit 140 are coordinates (u, v) is an equation for perspective projection conversion.
[Formula 1]
(U, v) T = (f · x / z, f · y / z) T
投影面と距離画像とにおける各画素は、一意に対応しており、投影面に投影された点（投影点）に対応する距離画像上の２次元座標の近傍２７０から、対応付け対象となる距離画像上の幾何特徴が探索される。点の投影計算は、「式１」により計算できるため、対応探索も投影点周辺の２次元探索で済む。そのため、計算量が少なくて済むので、３次元形状モデルの幾何特徴と距離画像上の幾何特徴との対応付けを高速化できる。 Each pixel in the projection plane and the distance image uniquely corresponds to each other, and the distance to be associated from the vicinity 270 of the two-dimensional coordinates on the distance image corresponding to the point (projection point) projected on the projection plane. Geometric features on the image are searched. Since the point projection calculation can be performed by “Equation 1”, the correspondence search is also a two-dimensional search around the projection point. Therefore, since the calculation amount is small, the correspondence between the geometric features of the three-dimensional shape model and the geometric features on the distance image can be speeded up.
距離画像上の幾何特徴の探索は、図３に示すように、投影点を中心とした楕円領域で形成される領域Ω３３０内で行なわれる。なお、探索範囲は、投影点の画素であっても良いし、任意の大きさの矩形形状であっても良い。探索領域Ω３３０の大きさや形状は、例えば、物体の位置及び姿勢の概略値、画像取得部１１０の撮影パラメータ、物体又は画像取得部１１０の動き、の少なくともいずれかに基づいて決定すればよい。すなわち、探索領域Ω３３０は、画像取得部１１０の視線方向と幾何特徴の法線方向とに基づいて決められた矩形領域や楕円領域であっても良いし、動きベクトルを長軸とする楕円領域であっても良い。 As shown in FIG. 3, the search for the geometric feature on the distance image is performed within an area Ω330 formed by an elliptical area centered on the projection point. The search range may be a pixel at a projection point, or may be a rectangular shape having an arbitrary size. The size and shape of the search region Ω330 may be determined based on at least one of approximate values of the position and orientation of the object, shooting parameters of the image acquisition unit 110, and movement of the object or the image acquisition unit 110, for example. That is, the search region Ω330 may be a rectangular region or an elliptical region determined based on the line-of-sight direction of the image acquisition unit 110 and the normal direction of the geometric feature, or an elliptical region having a motion vector as a major axis. There may be.
本実施形態においては、距離画像上の幾何特徴は、投影点に対応する画素に含まれる奥行き情報（距離情報）から得られる３次元点の座標とする。距離画像上の幾何特徴の探索方法としては、計測点３４０の投影点から最短距離を持つ探索領域Ω３３０内の計測点を選択すれば良い。「式２」は、投影点ｐ＝（ｕ，ｖ）Ｔで計測された計測点の距離画像上での座標ｇｉの最短距離を求める式である。
［式２］
ａｒｇｍｉｎ｛｜｜ｇｉ−ｐ｜｜｝，ｇｉ∈Ω
In the present embodiment, the geometric feature on the distance image is the coordinates of a three-dimensional point obtained from depth information (distance information) included in the pixel corresponding to the projection point. As a method for searching for a geometric feature on the distance image, a measurement point in the search region Ω 330 having the shortest distance from the projection point of the measurement point 340 may be selected. “Expression 2” is an expression for obtaining the shortest distance of the coordinates g i on the distance image of the measurement point measured at the projection point p = (u, v) T.
[Formula 2]
argmin {|| g i −p ||}, g i ∈Ω
なお、必ずしもこの探索方法を採用する必要はなく、例えば、探索領域Ω３３０内の各画素に対して特徴検出器により特徴量を算出し、３次元形状モデルの幾何特徴の特徴量と最も似ているものを選択するようにしても良い。また、例えば、探索領域Ω３３０内における計測点の３次元空間内における座標の中央値や平均値など統計的処理によって算出した空間中の座標を選択するようにしても良い。その他、距離画像上の幾何特徴は、３次元点に限られず、探索領域Ω内の計測点に対して当てはめた曲面や平面のパラメータであっても良く、後述する位置姿勢算出部１６０において、対象物体の位置及び姿勢を算出する際に利用可能な幾何特徴であれば良い。 It is not always necessary to employ this search method. For example, a feature amount is calculated by a feature detector for each pixel in the search region Ω 330 and is most similar to the feature amount of the geometric feature of the three-dimensional shape model. You may make it choose a thing. Further, for example, coordinates in a space calculated by statistical processing such as a median value or an average value of coordinates in a three-dimensional space of measurement points in the search region Ω330 may be selected. In addition, the geometric feature on the distance image is not limited to the three-dimensional point, and may be a curved surface or plane parameter applied to the measurement point in the search region Ω. Any geometric feature that can be used when calculating the position and orientation of an object may be used.
また、距離画像上で選択された幾何特徴の法線を算出し、当該算出した法線と３次元形状モデルの幾何特徴の法線とを比較し、互いの法線方向が所定値を越えて異なっていれば、当該幾何特徴を対応付けないといった誤対応排除処理を行なうようにしても良い。なお、距離画像上の幾何特徴の法線は、幾何特徴の近傍の３次元点群に対して主成分分析し、第３の主成分を法線とすることで求められる。誤対応排除処理を実施するように構成した場合、３次元形状モデルの幾何特徴に対して、異なる幾何特徴の計測データが対応付けられる誤りを軽減させられる。 Further, the normal of the geometric feature selected on the distance image is calculated, the calculated normal is compared with the normal of the geometric feature of the three-dimensional shape model, and the normal direction of each other exceeds a predetermined value. If they are different from each other, it may be possible to perform an erroneous correspondence exclusion process in which the geometric feature is not associated. The normal line of the geometric feature on the distance image is obtained by performing a principal component analysis on a three-dimensional point group near the geometric feature and using the third principal component as a normal line. When configured to perform the erroneous correspondence exclusion process, it is possible to reduce errors in which measurement data of different geometric features are associated with the geometric features of the three-dimensional shape model.
位置姿勢算出部１６０は、対応探索部１５０により対応付けられた３次元形状モデルの幾何特徴と距離画像上の幾何特徴との組を用いて、対象物体の位置及び姿勢を算出する。本実施形態における対象物体の位置及び姿勢の算出では、演算処理を繰り返し、それにより得られる値を最適化する。これにより、対応付けられた３次元形状モデルの幾何特徴と距離画像上の幾何特徴との組の３次元空間における距離の差を最小化する。 The position / orientation calculation unit 160 calculates the position and orientation of the target object using a set of the geometric feature of the three-dimensional shape model and the geometric feature on the distance image associated by the correspondence search unit 150. In the calculation of the position and orientation of the target object in the present embodiment, the calculation process is repeated and the values obtained thereby are optimized. Thereby, the difference in the distance in the three-dimensional space of the set of the geometric feature of the associated three-dimensional shape model and the geometric feature on the distance image is minimized.
本実施形態においては、３次元形状モデルの幾何特徴は、３次元空間における座標と法線情報との組であり、距離画像上の幾何特徴は、３次元点の座標である。３次元形状モデルの幾何特徴を微小な平面と考え、３次元形状モデル上の平面と距離画像から算出した３次元点との距離を差とする。そして、この差を最小化することにより、対象物体の位置及び姿勢の計測を行なう。 In the present embodiment, the geometric feature of the three-dimensional shape model is a set of coordinates in the three-dimensional space and normal information, and the geometric feature on the distance image is the coordinates of the three-dimensional point. The geometric feature of the three-dimensional shape model is considered as a fine plane, and the distance between the plane on the three-dimensional shape model and the three-dimensional point calculated from the distance image is defined as a difference. The position and orientation of the target object are measured by minimizing this difference.
ここで、上記差は、幾何特徴の表現方法に依存する。例えば、３次元形状モデルの幾何特徴が点であり距離画像上の幾何特徴が点であれば、点と点との距離であっても良い。また、例えば、３次元形状モデルの幾何特徴が面であり距離画像上の幾何特徴が面であれば、面と面との距離であっても良い。また、例えば、３次元形状モデルの幾何特徴が面であり、距離画像上の幾何特徴が点であれば、面と点との距離であっても良い。また更に、上記差は、陰多項式などを利用して近似的に算出される距離であっても良い。すなわち、３次元形状モデルの幾何特徴と距離画像上の幾何特徴との間の距離の差に基づく評価関数を用いて、対象物体の位置及び姿勢を計測する構成であれば、その方法は特に問わない。 Here, the difference depends on a geometric feature representation method. For example, if the geometric feature of the three-dimensional shape model is a point and the geometric feature on the distance image is a point, the distance between the points may be used. Further, for example, if the geometric feature of the three-dimensional shape model is a surface and the geometric feature on the distance image is a surface, the distance between the surfaces may be used. For example, if the geometric feature of the three-dimensional shape model is a surface and the geometric feature on the distance image is a point, the distance between the surface and the point may be used. Furthermore, the difference may be a distance approximately calculated using an implicit polynomial or the like. In other words, the method is not particularly limited as long as the position and orientation of the target object are measured using an evaluation function based on a difference in distance between the geometric feature of the three-dimensional shape model and the geometric feature on the distance image. Absent.
次に、図４のフローチャートを用いて、図１に示す３次元計測装置１０における動作の一例について説明する。ここでは、物体の位置及び姿勢を計測する際の処理の流れについて説明する。 Next, an example of the operation in the three-dimensional measurement apparatus 10 shown in FIG. 1 will be described using the flowchart of FIG. Here, the flow of processing when measuring the position and orientation of an object will be described.
３次元計測装置１０は、画像取得部１１０において、距離センサからの奥行き情報（距離情報）を含む距離画像を撮影する。これにより、距離画像を取得する（Ｓ１１０）。 The three-dimensional measuring apparatus 10 captures a distance image including depth information (distance information) from the distance sensor in the image acquisition unit 110. Thereby, a distance image is acquired (S110).
距離画像の取得が済むと、３次元計測装置１０は、概略値取得部１２０において、３次元計測装置１０に対する物体の位置及び姿勢の概略値を取得する（Ｓ１２０）。上述した通り、物体の位置及び姿勢の概略値は、過去に計測された位置及び姿勢、速度や角速度などの運動の推定結果を加味した位置及び姿勢の予測値、他のセンサによる計測値、２次元画像や距離画像からの物体認識結果などを用いることができる。なお、本実施形態においては、物体の位置及び姿勢の概略値として、過去に計測された位置及び姿勢の概略値を用いる。なお、Ｓ１１０及びＳ１２０の処理の順番は、入れ替わっても良い。 When the acquisition of the distance image is completed, the three-dimensional measurement apparatus 10 acquires the approximate values of the position and orientation of the object with respect to the three-dimensional measurement apparatus 10 in the approximate value acquisition unit 120 (S120). As described above, the approximate values of the position and orientation of the object are the position and orientation measured in the past, the predicted value of the position and orientation taking into account the motion estimation results such as speed and angular velocity, the measured values by other sensors, 2 An object recognition result from a dimensional image or a distance image can be used. In this embodiment, approximate values of positions and orientations measured in the past are used as approximate values of the position and orientation of the object. Note that the processing order of S110 and S120 may be switched.
次に、３次元計測装置１０は、Ｓ１１０の処理で取得した距離画像やＳ１２０の処理で取得した概略値等を用いた対象物体の位置姿勢計測処理を開始する。本実施形態に係わる位置姿勢計測処理では、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法を用いる。具体的には、対象物体の位置及び姿勢の概略値を反復演算により繰り返し補正する。これにより、３次元形状モデルの幾何特徴と距離画像上の幾何特徴とにおける３次元空間での距離の差を最小化し、それにより得られた値を対象物体の位置及び姿勢とする。勿論、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法に限られず、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法や最急降下法などの最適化手法を用いても良い。また、共役勾配法など、他の非線型最適化計算手法を用いても良い。 Next, the three-dimensional measurement apparatus 10 starts the position / orientation measurement process of the target object using the distance image acquired in the process of S110, the approximate value acquired in the process of S120, and the like. In the position / orientation measurement processing according to the present embodiment, the Levenberg-Marquardt method is used. Specifically, the approximate values of the position and orientation of the target object are repeatedly corrected by iterative calculation. As a result, the difference in the distance in the three-dimensional space between the geometric feature of the three-dimensional shape model and the geometric feature on the distance image is minimized, and the value obtained thereby is used as the position and orientation of the target object. Of course, it is not limited to the Levenberg-Marquardt method, and an optimization method such as a Gauss-Newton method or a steepest descent method may be used. Also, other nonlinear optimization calculation methods such as a conjugate gradient method may be used.
位置姿勢計測処理が開始すると、３次元計測装置１０は、まず、Ｓ１２０の処理で得られた対象物体の概略値を位置姿勢計測処理における初期値として取得する。そして、幾何特徴選択部１４０において、当該概略値に基づいて、３次元形状モデルの幾何特徴を選択する（Ｓ１３０）。 When the position / orientation measurement process starts, the three-dimensional measurement apparatus 10 first acquires the approximate value of the target object obtained in the process of S120 as an initial value in the position / orientation measurement process. Then, the geometric feature selection unit 140 selects a geometric feature of the three-dimensional shape model based on the approximate value (S130).
当該選択が済むと、３次元計測装置１０は、対応探索部１５０において、対象物体の位置及び姿勢の概略値と距離センサの撮影パラメータ（画角や解像度、焦点距離など）とに基づいて、３次元形状モデルの幾何特徴を距離画像（２次元平面）に投影する。そして、３次元形状モデルの幾何特徴と距離画像上の幾何特徴とを対応付け、当該対応付けた３次元形状モデルの幾何特徴と距離画像上の幾何特徴との組を出力する（Ｓ１４０）。そして、３次元計測装置１０は、位置姿勢算出部１６０において、非線型最適化手法により、対象物体の位置及び姿勢の概略値を更新する（Ｓ１５０）。 When the selection is completed, the three-dimensional measurement apparatus 10 causes the correspondence search unit 150 to select 3 based on the approximate values of the position and orientation of the target object and the shooting parameters (field angle, resolution, focal length, etc.) of the distance sensor. The geometric features of the three-dimensional shape model are projected onto a distance image (two-dimensional plane). Then, the geometric features of the three-dimensional shape model are associated with the geometric features on the distance image, and a set of the geometric features of the associated three-dimensional shape model and the geometric features on the distance image is output (S140). In the position / orientation calculation unit 160, the three-dimensional measurement apparatus 10 updates the approximate values of the position and orientation of the target object using the nonlinear optimization method (S150).
最後に、３次元計測装置１０は、位置姿勢算出部１６０において、収束判定を行なう。そして、算出値が収束していれば終了し（Ｓ１６０でＹＥＳ）、そうでなければ（Ｓ１６０でＮＯ）、再度、Ｓ１３０の処理に戻り、上述したＳ１３０〜Ｓ１５０までの処理を繰り返す。なお、収束判定では、例えば、位置及び姿勢の更新前後の誤差ベクトルの二乗和の差がほぼ「０」であれば、収束したと判定すればよい。 Finally, the three-dimensional measurement apparatus 10 performs convergence determination in the position / orientation calculation unit 160. If the calculated value has converged, the process ends (YES at S160), otherwise (NO at S160), the process returns to S130 again, and the above-described processes from S130 to S150 are repeated. In the convergence determination, for example, if the difference between the square sums of the error vectors before and after the position and orientation is updated is approximately “0”, it may be determined that the convergence has occurred.
以上説明したように実施形態１によれば、３次元形状モデルと距離画像とにおける幾何特徴の対応付けに際して、３次元形状モデルの幾何特徴上の点を選択し、当該選択された幾何特徴上の点を距離画像上に投影する。そして、当該距離画像上における投影点から所定範囲内の領域にある幾何特徴を探索することにより、３次元形状モデルの幾何特徴と距離画像上の幾何特徴とを対応付ける。これにより、３次元形状モデルと計測データとの対応付けに際して実施する演算を効率的に行なえる。 As described above, according to the first embodiment, when the geometric feature is associated with the three-dimensional shape model and the distance image, a point on the geometric feature of the three-dimensional shape model is selected, and the geometric feature on the selected geometric feature is selected. Project a point onto a distance image. Then, by searching for a geometric feature in a region within a predetermined range from the projection point on the distance image, the geometric feature of the three-dimensional shape model is associated with the geometric feature on the distance image. As a result, it is possible to efficiently perform the calculation performed when the three-dimensional shape model is associated with the measurement data.
（実施形態２）
次に、実施形態２について説明する。実施形態２においては、入力画像として、距離画像の他、２次元画像を入力する場合について説明する。図５は、３次元形状モデルの幾何特徴を２次元平面に投影し、２次元画像及び距離画像において、対応する幾何特徴を探索する処理の概要を示す図である。
(Embodiment 2)
Next, Embodiment 2 will be described. In the second embodiment, a case where a two-dimensional image in addition to a distance image is input as an input image will be described. FIG. 5 is a diagram showing an outline of processing for projecting the geometric feature of the three-dimensional shape model onto the two-dimensional plane and searching for the corresponding geometric feature in the two-dimensional image and the distance image.
距離画像４４０及び２次元画像４５０のいずれに対しても、３次元形状モデルの幾何特徴４１０、４２０を２次元平面（投影面）４３０に投影し、対応する画像上での幾何特徴を２次元平面上から探索すれば、上記対応付けを行なうことができる。 For both the distance image 440 and the two-dimensional image 450, the geometric features 410 and 420 of the three-dimensional shape model are projected onto the two-dimensional plane (projection plane) 430, and the geometric features on the corresponding image are projected to the two-dimensional plane. If the search is performed from above, the association can be performed.
そのため、３次元形状モデルと計測データとの対応付けの演算処理を効率化できる。なお、本実施形態においては。距離画像４４０及び２次元画像４５０は、同一視点で撮影されたものとする。この場合、２次元画像上での幾何特徴と距離画像上での幾何特徴との比較が容易であり、影などの影響による誤対応の軽減の他、ジャンプエッジ（孤立したエッジ）の判定も可能になる。 Therefore, it is possible to increase the efficiency of the calculation process for associating the three-dimensional shape model with the measurement data. In the present embodiment. The distance image 440 and the two-dimensional image 450 are taken from the same viewpoint. In this case, it is easy to compare the geometric features on the two-dimensional image and the geometric features on the distance image, and it is possible to determine the jump edge (isolated edge) in addition to reducing the false correspondence due to the influence of shadows. become.
ここで、実施形態２に係わる３次元計測装置１０における全体的な構成は、実施形態１同様となるが、各部における処理が多少相違する。この点について説明する。なお、ここでは相違する処理について重点的に説明する。 Here, the overall configuration of the three-dimensional measurement apparatus 10 according to the second embodiment is the same as that of the first embodiment, but the processing in each unit is slightly different. This point will be described. Here, the different processes will be described mainly.
画像取得部１１０は、２次元画像及び距離画像を取得する。距離画像に関しては実施形態１の場合と同様であり、距離センサによって撮影される。２次元画像は、通常の２次元画像を撮影するカメラ（撮像装置）によって撮影される。撮影される２次元画像は、濃淡画像であっても良いし、カラー画像であっても良い。カメラの焦点距離や主点位置、レンズ歪みパラメータなどのカメラモデルは、例えば［R. Y. Tsai, “A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses, " IEEE Journal of Robotics and Automation, vol.RA-3, no.4, 1987.］で開示されている方法によって事前にキャリブレーションしておく。 The image acquisition unit 110 acquires a two-dimensional image and a distance image. The distance image is the same as in the case of the first embodiment, and is captured by the distance sensor. The two-dimensional image is taken by a camera (imaging device) that takes a normal two-dimensional image. The captured two-dimensional image may be a grayscale image or a color image. For example, [RY Tsai, “A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses,” IEEE Calibrate in advance by the method disclosed in Journal of Robotics and Automation, vol.RA-3, no.4, 1987.].
実施形態２においては、例えば、実施形態１で例示したアクティブ式の距離センサを用いる。これは、アクティブ式の距離センサや、ステレオカメラによる距離センサなどは、通常の２次元画像も同時に撮影可能であるためである。そのため、２次元画像及び距離画像は、同一視点から撮影された画像となる。但し、２次元画像及び距離画像は、必ずしも同一視点から撮影されていなくてもよい。なお、２次元画像と距離画像とにおける撮像装置の撮影位置や姿勢が近く、且つ両装置の幾何関係が既知であれば、両者の幾何関係に基づいて２次元画像及び距離画像のいずれか一方を射影変換し、それにより得られた画像を同一視点から撮影した画像としても良い。 In the second embodiment, for example, the active distance sensor exemplified in the first embodiment is used. This is because an active distance sensor, a distance sensor using a stereo camera, and the like can simultaneously capture a normal two-dimensional image. Therefore, the two-dimensional image and the distance image are images taken from the same viewpoint. However, the two-dimensional image and the distance image do not necessarily have to be taken from the same viewpoint. If the imaging position and orientation of the imaging device in the two-dimensional image and the distance image are close and the geometric relationship between the two devices is known, either the two-dimensional image or the distance image is determined based on the geometric relationship between the two devices. An image obtained by performing projective transformation and capturing an image obtained from the same viewpoint may be used.
対応探索部１５０は、幾何特徴選択部１４０により選択された３次元形状モデルの幾何特徴と、２次元画像及び距離画像上の幾何特徴とを対応付け、当該対応付けた３次元形状モデルの幾何特徴と、距離画像上及び２次元画像上の幾何特徴の組を出力する。対応探索部１５０では、実施形態１同様に、幾何特徴選択部１４０により選択された３次元形状モデルの幾何特徴を２次元平面（投影面）に投影することにより上記対応付けを行なう。なお、３次元形状モデルと距離画像との対応付けは、実施形態１同様の処理となる。３次元形状モデルと２次元画像との対応付けには、幾何特徴としてエッジを利用すればよい。エッジによる対応付けは、従来技術を用いればよいため、ここでは詳細な説明については省略する。なお、［C. Harris and M. Stephens, “A combined corner and edge detector, " Proc. 4th Alvey Vision Conf., pp.147-151, Manchester, U.K., 1988.］で開示されているような特徴検出器により検出される特徴点であっても良い。その他、位置姿勢算出部１６０において、対象物体の位置及び姿勢を計測する際に利用可能な幾何特徴であれば良い。 The correspondence search unit 150 associates the geometric feature of the three-dimensional shape model selected by the geometric feature selection unit 140 with the geometric feature on the two-dimensional image and the distance image, and the geometric feature of the associated three-dimensional shape model. And a set of geometric features on the distance image and the two-dimensional image are output. As in the first embodiment, the correspondence search unit 150 performs the above-described correspondence by projecting the geometric feature of the three-dimensional shape model selected by the geometric feature selection unit 140 onto a two-dimensional plane (projection plane). The association between the three-dimensional shape model and the distance image is the same process as in the first embodiment. In associating the three-dimensional shape model with the two-dimensional image, an edge may be used as a geometric feature. Since the prior art may be used for the association by the edge, the detailed description is omitted here. It should be noted that feature detection as disclosed in [C. Harris and M. Stephens, “A combined corner and edge detector,” Proc. 4th Alvey Vision Conf., Pp.147-151, Manchester, UK, 1988.] It may be a feature point detected by a vessel. In addition, any geometric feature that can be used when the position and orientation calculation unit 160 measures the position and orientation of the target object may be used.
本実施形態に係わる２次元画像及び距離画像は、同一視点から撮影された画像であるので、投影面と２次元画像及び距離画像とにおける各画素は、一意に対応する。そのため、実施形態１同様に、投影点の所定範囲内（領域周辺）を探索領域Ωとして、３次元形状モデルの幾何特徴に対応する画像上の幾何特徴を２次元探索する。探索領域Ωは、実施形態１同様に、矩形や楕円形状の領域であっても良い。なお、２次元画像上のエッジを探索する場合には、エッジの法線方向に任意の長さの線上を１次元探索しても良い。 Since the two-dimensional image and the distance image according to the present embodiment are images taken from the same viewpoint, each pixel in the projection plane, the two-dimensional image, and the distance image uniquely corresponds. Therefore, as in the first embodiment, the geometric feature on the image corresponding to the geometric feature of the three-dimensional shape model is two-dimensionally searched with the search region Ω within the predetermined range (region periphery) of the projection point. The search area Ω may be a rectangular or elliptical area as in the first embodiment. When searching for an edge on a two-dimensional image, a one-dimensional search may be performed on a line having an arbitrary length in the normal direction of the edge.
また更に、実施形態１で説明した誤対応排除処理を２次元画像に対して実施してもよい。誤対応排除処理は、例えば、特徴量の比較やエッジの方向の比較に基づいて行なう。また、例えば、２次元画像上で検出されたエッジや特徴量に対応する特徴が、距離画像から検出されなければ、影などによる影響を起因としたエッジや特徴量であるとして対応付けを行なわないといった誤対応排除処理を行なうようにしても良い。 Furthermore, the erroneous correspondence exclusion process described in the first embodiment may be performed on the two-dimensional image. The erroneous correspondence exclusion processing is performed based on, for example, comparison of feature amounts or edge direction. Also, for example, if a feature corresponding to an edge or feature amount detected on a two-dimensional image is not detected from a distance image, no association is performed assuming that the feature is an edge or feature amount caused by the influence of a shadow or the like. It is also possible to perform such a false correspondence exclusion process.
また、距離画像を用いて、２次元画像で検出されたエッジがジャンプエッジであるか否かを判定する処理を行なうようにしても良い。本実施形態に係わる距離画像及び２次元画像は、同一視点から撮影されているため、２次元画像と距離画像との併用により誤対応排除処理を効率よく行なえる。 Moreover, you may make it perform the process which determines whether the edge detected in the two-dimensional image is a jump edge using a distance image. Since the distance image and the two-dimensional image according to the present embodiment are taken from the same viewpoint, erroneous correspondence exclusion processing can be efficiently performed by using the two-dimensional image and the distance image together.
位置姿勢算出部１６０は、対応探索部１５０により対応付けられた３次元形状モデルの幾何特徴と、２次元画像及び距離画像上の幾何特徴との組を用いて、対象物体の位置及び姿勢を算出する。本実施形態における対象物体の位置及び姿勢の算出では、演算処理を繰り返してそれにより得られる値を最適化する。これにより、３次元形状モデルの幾何特徴と２次元画像上の幾何特徴との３次元空間における距離の差、及び３次元形状モデルの幾何特徴と距離画像上の幾何特徴との３次元空間における距離の差の双方に基づく評価関数を最小化する。 The position / orientation calculation unit 160 calculates the position and orientation of the target object using a set of the geometric features of the three-dimensional shape model associated with the correspondence search unit 150 and the geometric features on the two-dimensional image and the distance image. To do. In the calculation of the position and orientation of the target object in the present embodiment, the calculation process is repeated to optimize the value obtained thereby. Accordingly, the difference in the distance between the geometric feature of the three-dimensional shape model and the geometric feature on the two-dimensional image in the three-dimensional space, and the distance between the geometric feature of the three-dimensional shape model and the geometric feature on the distance image in the three-dimensional space. Minimize the evaluation function based on both of the differences.
なお、２次元画像には、奥行き情報が含まれていないため、２次元画像の幾何特徴を３次元空間に投影する場合、例えば、奥行き情報がない状態で投影する。勿論、所定のアルゴリズムや予め決められた値等を用いて２次元画像の幾何特徴各々に対して奥行き情報を付与するように構成しても良い。 In addition, since the depth information is not included in the two-dimensional image, when the geometric feature of the two-dimensional image is projected onto the three-dimensional space, for example, the projection is performed without the depth information. Of course, depth information may be assigned to each geometric feature of the two-dimensional image using a predetermined algorithm, a predetermined value, or the like.
その他、３次元形状モデルの幾何特徴と２次元画像上及び距離画像上の幾何特徴との間の差に基づく評価関数に基づいて対象物体の位置及び姿勢を計測する手法であれば、その方法は特に問わない。なお、実施形態２に係わる位置及び姿勢の計測処理の流れは、実施形態１と同様であるため、ここでは、その説明については省略する。 If the method is to measure the position and orientation of the target object based on the evaluation function based on the difference between the geometric feature of the three-dimensional shape model and the geometric feature on the two-dimensional image and the distance image, the method is It doesn't matter. Note that the flow of the position and orientation measurement processing according to the second embodiment is the same as that of the first embodiment, and thus the description thereof is omitted here.
なお、実施形態２においては、対応付ける３次元形状モデルの幾何特徴は、曲面や平面、曲線であっても良い。しかし、ＣＡＤモデルでよく利用されているＮＵＲＢＳ曲面など複雑な形状を２次元平面に投影するには、テセレーションや輪郭線で曲面を切り取る処理などが必要となり、ＧＰＵなどの幾何計算用の専用ハードウェアがなければ、演算処理に要する時間が多大になる。そこで、実施形態１同様に、３次元形状モデルの幾何特徴を点又は線分として表現し、当該点又は線分を２次元平面に投影する。この投影により、専用ハードウェアを必要とせずに、対応付けを高速化できる。 In the second embodiment, the geometric feature of the three-dimensional shape model to be associated may be a curved surface, a plane, or a curve. However, in order to project a complex shape such as a NURBS curved surface often used in a CAD model onto a two-dimensional plane, processing such as tessellation or cutting of the curved surface with contour lines is required, and dedicated hardware for geometric calculation such as GPU is required. If there is no wear, the time required for arithmetic processing will be great. Therefore, as in the first embodiment, the geometric features of the three-dimensional shape model are expressed as points or line segments, and the points or line segments are projected onto a two-dimensional plane. This projection speeds up the association without requiring dedicated hardware.
以上説明したように実施形態２によれば、実施形態１同様に、３次元形状モデルと計測データとの対応付けに際して実施する演算を効率的に行なえる。 As described above, according to the second embodiment, similarly to the first embodiment, it is possible to efficiently perform the calculation performed when the three-dimensional shape model is associated with the measurement data.
以上が本発明の代表的な実施形態の例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。 The above is an example of a typical embodiment of the present invention, but the present invention is not limited to the embodiment described above and shown in the drawings, and can be appropriately modified and implemented within the scope not changing the gist thereof. .
なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ、ＧＰＵ等）がプログラムを読み出して実行する処理である。
It should be noted that the present invention can also take the form of, for example, a system, apparatus, method, program, or storage medium. Specifically, the present invention may be applied to a system composed of a plurality of devices, or may be applied to an apparatus composed of a single device.
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media. Then, the computer (or CPU, MPU, GPU, etc.) of the system or apparatus reads out and executes the program.
１０：３次元計測装置、１１０：画像取得部、１２０：概略値取得部、１３０：モデル保持部、１４０：幾何特徴選択部、１５０：対応探索部、１６０：位置姿勢算出部 10: three-dimensional measuring device, 110: image acquisition unit, 120: approximate value acquisition unit, 130: model holding unit, 140: geometric feature selection unit, 150: correspondence search unit, 160: position and orientation calculation unit
Claims (14)
前記対象物体の三次元形状モデルの複数の幾何特徴を保持する保持手段と、
前記対象物体の概略位置姿勢を取得する取得手段と、
前記対象物体の概略位置姿勢に基づいて、前記対象物体の三次元形状モデルの複数の幾何特徴のうちの第１の幾何特徴と、前記距離画像上の第１の特徴とを対応付け、前記対象物体の三次元形状モデルの複数の幾何特徴のうちの第２の幾何特徴と、前記二次元画像上の第２の特徴とを対応付ける対応付け手段と、
前記対応付け手段の対応付け結果に基づいて、前記対象物体の位置および姿勢を導出する導出手段と
を備えることを特徴とする情報処理装置。 A distance image that stores the distance to the target object in a pixel, and an image acquisition unit that acquires a two-dimensional image representing the shape of the target object;
Holding means for holding a plurality of geometric features of a three-dimensional shape model of the target object;
Obtaining means for obtaining a rough position and orientation of the target object ;
On the basis of the approximate position and orientation of the target object, associates the first geometric feature of the plurality of geometric features of the three-dimensional shape model of the object, a first feature on the leading SL range image, the and associating means for associating a second geometric feature of the plurality of geometric features of the three-dimensional shape model of the target object, and a second feature on the two-dimensional image,
An information processing apparatus comprising: deriving means for deriving a position and orientation of the target object based on a matching result of the matching means .
前記対応付け手段は、
前記投影手段で前記距離画像に投影された前記第１の幾何特徴と、前記第１の幾何特徴が投影された前記距離画像の位置から所定の範囲を探索して得られる前記第１の特徴とを対応付け、
前記投影手段で前記二次元画像に投影された第２の幾何特徴と、前記第２の幾何特徴が投影された前記二次元画像の位置から所定の範囲を探索して得られる前記第２の特徴とを対応付けることを特徴とする請求項１に記載の情報処理装置。 Furthermore, on the basis of the approximate position and orientation, by projecting the front Symbol first geometric feature on the distance image, with a projection means for projecting said second geometric feature to the two-dimensional image,
The association means includes
Before Kito said range image before Symbol first projected on the geometric features in the shadow device, the first of the first geometric feature is obtained by searching a predetermined range from the position of the distance images projected With the features of
The second geometric feature projected on the two-dimensional image by the projection means and the second feature obtained by searching a predetermined range from the position of the two-dimensional image on which the second geometric feature is projected. The information processing apparatus according to claim 1, wherein:
前記概略位置姿勢に基づいて、前記対象物体の三次元形状モデルの第１の幾何特徴および第２の幾何特徴を選択する選択手段を更に備え、
前記投影手段は、前記選択手段により選択された第１の幾何特徴を前記距離画像に投影し、前記選択手段により選択された第２の幾何特徴を前記二次元画像に投影することを特徴とする請求項２に記載の情報処理装置。 The holding means holds, for each viewpoint for observing the target object, a first geometric feature and a second geometric feature that are visible from the viewpoint;
Selecting means for selecting a first geometric feature and a second geometric feature of a three-dimensional shape model of the target object based on the approximate position and orientation;
Before Kito shadow means projecting a second geometric features that the first geometric features selected by projecting the distance image by the selection means, is selected by the pre-Symbol selection means to the two-dimensional image The information processing apparatus according to claim 2.
前記第１の特徴は、前記距離画像の計測点であることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。 The first geometric feature is a surface or a point constituting the three-dimensional shape model,
The information processing apparatus according to claim 1, wherein the first feature is a measurement point of the distance image.
前記第２の特徴は、前記二次元画像に含まれるエッジであることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。 The second geometric feature is a line or a point constituting the three-dimensional shape model ,
The information processing apparatus according to claim 1, wherein the second feature is an edge included in the two-dimensional image.
前記導出手段は、前記第１のずれと前記第２のずれとが小さくなるように前記概略位置姿勢を更新することにより、前記対象物体の位置および姿勢を導出することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。The derivation means derives the position and orientation of the target object by updating the approximate position and orientation so that the first deviation and the second deviation are reduced. The information processing apparatus according to any one of 1 to 9.
前記画像取得手段が、対象物体までの距離を画素に格納する距離画像及び前記対象物体の形状を表す二次元画像を取得する画像取得工程と、
前記保持手段が、前記対象物体の三次元形状モデルの複数の幾何特徴を保持する保持工程と、
前記取得手段が、前記対象物体の概略位置姿勢を取得する取得工程と、
前記対応付け手段が、前記対象物体の概略位置姿勢に基づいて、前記対象物体の三次元形状モデルの複数の幾何特徴のうちの第１の幾何特徴と、前記距離画像上の第１の特徴とを対応付け、前記対象物体の三次元形状モデルの複数の幾何特徴のうちの第２の幾何特徴と、前記二次元画像上の第2の特徴とを対応付ける対応付け工程と、
前記導出手段が、前記対応付け工程での対応付け結果に基づいて、前記対象物体の位置および姿勢を導出する導出工程と
を有することを特徴とする情報処理装置の制御方法。 An image acquisition unit, a holding unit, an acquisition unit, a method of controlling an information processing apparatus including pairs and respond with means and electrically detecting means,
An image acquisition step in which the image acquisition means acquires a distance image storing the distance to the target object in a pixel and a two-dimensional image representing the shape of the target object;
A holding step in which the holding means holds a plurality of geometric features of the three-dimensional shape model of the target object; and
An acquisition step in which the acquisition means acquires the approximate position and orientation of the target object;
Previous SL corresponds with means, on the basis of the approximate position and orientation of the target object, a first geometric feature of the plurality of geometric features of the three-dimensional shape model of the target object, the first on the leading SL range image associates the characteristics of, and a second geometric feature of the plurality of geometric features of the three-dimensional shape model of the target object, and corresponds with the step of associating the second feature on the two-dimensional image,
The derivation means has a derivation step of deriving the position and orientation of the target object based on the association result in the association step .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015026964A JP6040264B2 (en) | 2015-02-13 | 2015-02-13 | Information processing apparatus, information processing apparatus control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015026964A JP6040264B2 (en) | 2015-02-13 | 2015-02-13 | Information processing apparatus, information processing apparatus control method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013205350A Division JP5698815B2 (en) | 2013-09-30 | 2013-09-30 | Information processing apparatus, information processing apparatus control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015135333A JP2015135333A (en) | 2015-07-27 |
| JP6040264B2 true JP6040264B2 (en) | 2016-12-07 |
Family
ID=53767234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015026964A Active JP6040264B2 (en) | 2015-02-13 | 2015-02-13 | Information processing apparatus, information processing apparatus control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6040264B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101777385B1 (en) | 2016-05-04 | 2017-09-11 | 엘아이지넥스원 주식회사 | Apparatus for calculating flight speed using kalman filter |
| JP6947215B2 (en) * | 2017-08-07 | 2021-10-13 | 富士通株式会社 | Information processing device, model data creation program, model data creation method |
| JP7063165B2 (en) * | 2018-07-26 | 2022-05-09 | 富士通株式会社 | Measuring equipment, measuring method and measuring program |
| JP6984633B2 (en) * | 2019-04-26 | 2021-12-22 | オムロン株式会社 | Devices, methods and programs that detect the position and orientation of an object |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3763215B2 (en) * | 1998-09-01 | 2006-04-05 | 株式会社明電舎 | Three-dimensional positioning method and apparatus, and medium on which software for realizing the method is recorded |
| JPWO2004102222A1 (en) * | 2003-05-13 | 2006-07-13 | 富士通株式会社 | Object detection device, object detection method, object detection program, distance sensor |
| US7844105B2 (en) * | 2007-04-23 | 2010-11-30 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for determining objects poses from range images |
| JP5013961B2 (en) * | 2007-05-21 | 2012-08-29 | キヤノン株式会社 | Position / orientation measuring apparatus and control method thereof |
| JP5251080B2 (en) * | 2007-11-20 | 2013-07-31 | 株式会社Ｉｈｉ | Object recognition method |
-
2015
- 2015-02-13 JP JP2015026964A patent/JP6040264B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015135333A (en) | 2015-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
| JP5567908B2 (en) | Three-dimensional measuring apparatus, measuring method and program | |
| JP5624394B2 (en) | Position / orientation measurement apparatus, measurement processing method thereof, and program | |
| JP5839971B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6180087B2 (en) | Information processing apparatus and information processing method | |
| JP5839929B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| JP6271953B2 (en) | Image processing apparatus and image processing method | |
| JP5671281B2 (en) | Position / orientation measuring apparatus, control method and program for position / orientation measuring apparatus | |
| JP6324025B2 (en) | Information processing apparatus and information processing method | |
| JP6370038B2 (en) | Position and orientation measurement apparatus and method | |
| JP5480667B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, program | |
| JP5627325B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
| JP5698815B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JP2016170050A (en) | Position attitude measurement device, position attitude measurement method and computer program | |
| JP6040264B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JP2016148649A (en) | Information processing apparatus, control method therefor, and program | |
| JP5976089B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
| JP6066562B2 (en) | Measuring device, measuring method and program | |
| JP5462662B2 (en) | Position / orientation measurement apparatus, object identification apparatus, position / orientation measurement method, and program | |
| JP6890422B2 (en) | Information processing equipment, control methods and programs for information processing equipment | |
| JP2012225888A (en) | Position posture measurement device and position posture measurement method | |
| JP2015178138A (en) | Information processing device and method | |
| JP5938201B2 (en) | Position / orientation measuring apparatus, processing method thereof, and program | |
| JP2011174878A (en) | Position attitude measuring device | |
| JP2019168473A (en) | Position and orientation measurement device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161107 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6040264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |