JP5988364B2 - Image processing apparatus and method - Google Patents
Image processing apparatus and method Download PDFInfo
- Publication number
- JP5988364B2 JP5988364B2 JP2012174321A JP2012174321A JP5988364B2 JP 5988364 B2 JP5988364 B2 JP 5988364B2 JP 2012174321 A JP2012174321 A JP 2012174321A JP 2012174321 A JP2012174321 A JP 2012174321A JP 5988364 B2 JP5988364 B2 JP 5988364B2
- Authority
- JP
- Japan
- Prior art keywords
- index
- coordinate system
- arrangement
- indices
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、複数の指標の配置情報を用いて基準座標系の姿勢を推定する画像処理装置及び方法に関する。 The present invention relates to an image processing apparatus and method for estimating an orientation of a reference coordinate system using arrangement information of a plurality of indices.
ＡＲ（拡張現実感）は、文字やＣＧ等の仮想的な情報を現実世界に付加する概念であり、その中でも３次元ＣＧを撮像画像に重畳表示するためには現実世界の基準座標系に対する撮像装置の姿勢（又は同等の情報を有するその逆関係として、撮像装置に対する基準座標系の姿勢）を推定する必要がある。 AR (augmented reality) is a concept of adding virtual information such as characters and CG to the real world. Among them, in order to superimpose a three-dimensional CG on a captured image, imaging with respect to a reference coordinate system in the real world is performed. It is necessary to estimate the attitude of the apparatus (or the attitude of the reference coordinate system with respect to the imaging apparatus as an inverse relationship having equivalent information).
キャラクター等のＣＧ（コンピュータ・グラフィックス）を現実空間に重ね合わせて表示するＡＲシステムにおいては、キャラクターと現実空間との幾何学的な整合性を維持するために基準座標系の高い推定精度が要求される。もしこの精度が十分でない場合は、例えばキャラクターを現実空間の机の上に立たせて表示させようとしているのにもかかわらず、キャラクターが机の上から離れて浮いて表示されてしまうといったことが起こりうる。 In an AR system that displays CG (computer graphics) such as characters superimposed on the real space, high estimation accuracy of the reference coordinate system is required to maintain the geometric consistency between the character and the real space. Is done. If this accuracy is not sufficient, for example, the character may appear to float away from the desk even though the character is trying to stand on the desk in the real space. sell.
比較的容易に基準座標系を推定する方法として、ＡＲ指標の投影画像を利用した手法が広く知られている。すなわち、現実空間の一平面上に設置された特定の形状をとる指標を撮像し、撮像画像内における指標の歪み方を利用することで基準座標系の姿勢を推定するというものである。 As a method for estimating the reference coordinate system relatively easily, a method using a projected image of an AR index is widely known. That is, an index having a specific shape set on a plane in real space is imaged, and the orientation of the reference coordinate system is estimated by using the distortion method of the index in the captured image.
従来からのＡＲシステムにおいては単一の指標を用いるのが一般的であるが、複数の指標を用いてより高精度に基準座標系を推定する方式も検討されており、特許文献１及び２にはこうした技術が開示されている。 In a conventional AR system, it is common to use a single index. However, a method of estimating a reference coordinate system with a higher accuracy using a plurality of indices has been studied. Has disclosed such a technique.
特許文献１及び２では、点指標や正方指標を含む複数の指標を多数の角度から撮影することで、指標の配置を拘束条件とした基準座標系を推定する方式が開示されている。 Patent Documents 1 and 2 disclose a method of estimating a reference coordinate system using a marker arrangement as a constraint condition by photographing a plurality of markers including a point marker and a square marker from many angles.
特許文献１及び２では、いずれの文献においても、基準座標系における撮像装置及び指標の位置及び向きの近似値が必要であり、それぞれを独立に求めることが要求されている。例えば、前者に関しては撮像装置に搭載された姿勢センサを利用する、または基準座標系における位置が既知の点の撮像画像内での投影位置を利用する、後者に関しては、巻尺や分度器、測量器などにより手動で計測する、といった手法が挙げられているが、いずれの手法においても基準座標系の推定に撮像装置以外のセンサや指標の配置に関する事前情報を必要とするという課題がある。 In each of Patent Documents 1 and 2, approximate values of the position and orientation of the imaging device and the index in the reference coordinate system are required in both documents, and it is required to obtain each independently. For example, for the former, use an attitude sensor mounted on the imaging device, or use a projected position in a captured image of a point whose position in the reference coordinate system is known, and for the latter, a tape measure, a protractor, a surveying instrument, etc. However, in any of these methods, there is a problem that prior information regarding the arrangement of sensors and indexes other than the imaging device is required for estimation of the reference coordinate system.
本発明は上述の課題に鑑みてなされたものであり、複数の指標を撮像した単一の撮像画像のみから、撮像装置以外のセンサや指標の配置に関する事前情報を用いることなく基準座標系の姿勢を高精度に推定することを目的とする。 The present invention has been made in view of the above-described problems, and from only a single captured image obtained by imaging a plurality of indices, the orientation of the reference coordinate system without using prior information regarding the arrangement of sensors and indices other than the imaging device. The purpose of this is to estimate with high accuracy.
上記目的を達成するため、本発明は各々が既知である指標が複数、同一平面上に設置されているのを撮像装置において撮像した撮像画像より、複数の指標が前記設置されている基準座標系を推定する画像処理装置であって、前記撮像画像より指標を検出する指標検出部と、前記検出された各指標の前記撮像装置に対する姿勢を平面射影変換の関係として推定する指標姿勢推定部と、前記推定された各姿勢より前記基準座標系における各指標の初期配置を推定する指標配置推定部と、前記推定された各指標の初期配置と前記検出された各指標の前記撮像画像上における配置との全体としての対応関係より、前記基準座標系の前記撮像装置に対する姿勢を推定する基準座標系推定部と、を備え、前記指標配置推定部は、前記推定された各姿勢に対応する平面射影変換を大きさ、位置及び向き並びに歪みに対応する各要素に分解し、1つの指標において前記推定された姿勢により表される平面上での当該１つの指標の前記既知である配置によって当該1つの指標の初期配置を定めると共に、当該1つの指標以外の各指標の初期配置を、当該1つの指標における位置及び向きの要素と当該各指標における大きさ及び歪みの要素との合成によって前記平面上に定め、前記指標配置推定部は前記各平面射影変換を、大きさ並びに位置及び向きに対応する相似変換と、歪みに対応するアフィン変換及び射影変換と、に分解することを特徴とする。 In order to achieve the above object, the present invention provides a reference coordinate system in which a plurality of indices, each of which is known, are set on the same plane, based on a captured image obtained by imaging with an imaging device. An index detection unit that detects an index from the captured image, an index orientation estimation unit that estimates the orientation of each detected index with respect to the imaging device as a relationship of planar projective transformation, An index placement estimating unit that estimates an initial placement of each index in the reference coordinate system from each of the estimated postures; an initial placement of each of the estimated indices and a placement of the detected indices on the captured image; A reference coordinate system estimation unit that estimates a posture of the reference coordinate system with respect to the imaging device based on the correspondence relationship as a whole, and the index arrangement estimation unit is provided for each estimated posture. The plane projection transformation to be decomposed into elements corresponding to size, position and orientation and distortion, and the known placement of the one index on the plane represented by the estimated pose in one index The initial arrangement of the one index is determined, and the initial arrangement of each index other than the one index is determined by combining the position and orientation elements in the one index and the size and distortion elements in the respective indices. The index placement estimating unit decomposes each planar projection transformation into a similarity transformation corresponding to the size, position and orientation, and an affine transformation and projection transformation corresponding to the distortion. .
本発明によれば、１つの指標に対する配置を基準座標系における初期配置となし、当該１つの指標以外の各指標については、当該１つの指標の推定配置における位置及び向きの要素によって共通の基準座標系とした上でさらに、各指標の推定位置における大きさ及び歪みの要素を合成することで、基準座標系において当初の大きさ及び形状に戻ることのできる正確な初期配置となし、当該共通の基準座標系において求まった全ての指標の初期配置と全ての指標の撮像画像上の配置との間の対応関係より基準座標系を推定する。 According to the present invention, the arrangement with respect to one index is the initial arrangement in the reference coordinate system, and for each index other than the one index, the common reference coordinates depend on the position and orientation elements in the estimated arrangement of the one index. In addition, by combining the size and distortion elements at the estimated position of each index, it is possible to obtain an accurate initial arrangement that can return to the original size and shape in the reference coordinate system, The reference coordinate system is estimated from the correspondence between the initial arrangement of all the indices obtained in the reference coordinate system and the arrangement of all the indices on the captured image.
従って予め指標同士の配置の情報を与えておくことなく、当該指標同士の配置の情報の近似値に相当する初期配置の情報が利用できるので、複数の指標から得られる複数の初期配置によって、高精度に基準座標系を推定することができる。 Accordingly, since the information on the initial arrangement corresponding to the approximate value of the information on the arrangement of the indicators can be used without providing the information on the arrangement of the indicators in advance, a plurality of initial arrangements obtained from a plurality of indices can be used. The reference coordinate system can be estimated with high accuracy.
図１は、本発明の一実施形態に係る、画像処理装置を用いたＡＲシステムの構成図であり、図1を用いて本実施形態の概要を説明する。ＡＲシステム1は、撮像装置10と、情報表示装置11と、データベース12と、本発明の画像処理装置2と、を備えて構成される。 FIG. 1 is a configuration diagram of an AR system using an image processing apparatus according to an embodiment of the present invention. The outline of the present embodiment will be described with reference to FIG. The AR system 1 includes an imaging device 10, an information display device 11, a database 12, and the image processing device 2 of the present invention.
撮像装置10は、(1)に模式的に示すような現実世界の撮像対象を撮像してその撮像画像を取得する装置であり、市販のＷＥＢカメラのほか、携帯電話端末や搭載されているカメラモジュールを用いてもよい。本発明にて使用する撮像装置10は、焦点距離や光軸のずれ、歪みパラメータ等の内部パラメータが事前のキャリブレーションにより既知であるものとする。 The imaging device 10 is a device that captures an image of a real-world imaging target as schematically shown in (1) and obtains the captured image. In addition to a commercially available WEB camera, a mobile phone terminal or a camera installed therein Modules may be used. In the imaging apparatus 10 used in the present invention, it is assumed that internal parameters such as a focal length, an optical axis shift, and a distortion parameter are known by prior calibration.
画像処理装置2は、撮像装置10の撮像画像より複数の指標を検出し、当該検出結果に基づいて基準座標系を推定する。撮像対象は、一般的なＡＲシステムでは単一の指標であるのに対し、本発明では複数の指標を用いる。図1中ではその例として4つの指標1〜4が描かれている。このとき、全ての指標が同一平面上にある必要はないが、画像処理装置2は基本的には図中例示するように共通の平面P1上に配置された指標1〜3より、(2)に示すようなその基準座標系XYZを求める。 The image processing device 2 detects a plurality of indices from the captured image of the imaging device 10, and estimates a reference coordinate system based on the detection result. The imaging target is a single index in a general AR system, whereas a plurality of indices are used in the present invention. In FIG. 1, four indexes 1 to 4 are illustrated as an example. At this time, it is not necessary that all the indices are on the same plane, but the image processing apparatus 2 is basically (2) from the indices 1 to 3 arranged on the common plane P1 as illustrated in the figure. The reference coordinate system XYZ as shown in FIG.
さらに当該平面P1とは別途に、当該基本座標系XYZとの配置関係が(3)に示すように座標系X'Y'Z'として既知であるような平面P2があり、当該平面P2上に例示されるような指標4がある場合、画像処理装置2は共通の平面P1上に設置された指標1〜3と、別の平面P2上に設置された指標P4とによって、指標1〜3のみを利用する場合よりも一般に誤差をより少なくして基準座標系XYZを求めることもできる。 In addition to the plane P1, there is a plane P2 whose arrangement relationship with the basic coordinate system XYZ is known as the coordinate system X'Y'Z 'as shown in (3), on the plane P2. When there is an index 4 as illustrated, the image processing apparatus 2 is configured to display only the indices 1 to 3 by using the indices 1 to 3 installed on the common plane P1 and the index P4 installed on another plane P2. In general, the reference coordinate system XYZ can be obtained with fewer errors than when using.
以下、まず指標が指標1〜3のように全て同一平面上にある基本的な場合を説明してから、さらに指標4のような別平面上の指標を追加利用する応用的な場合を説明する。 In the following, first, the basic case where the indicators are all on the same plane as indicators 1 to 3 will be described, and then an applied case where an indicator on another plane such as indicator 4 is additionally used will be described. .
情報表示装置11は、テキスト、動画像及びＣＧ又はそれらの組み合わせ等を、画像処理装置2が推定した姿勢の情報を利用して、例えば当該姿勢に応じた撮像画像に対する重畳表示等の制御を加えて、表示するための装置であり、ＰＣやテレビのディスプレイ、またはヘッドマウントディスプレイを使用してもよい。また、カメラ付き携帯電話端末のように撮像装置10と筐体を共有しているものでもよい。なお、タッチパネルを搭載した構成の情報表示装置11を用いることで、後述の指標検出をユーザのポインティング操作に代替することが可能である。ＡＲシステムでは、撮像装置が取得した動画像にＣＧを重畳表示するのが一般的であり、本発明でも同様に推定した基準座標系の任意の位置にＣＧを表示してもよい。 The information display device 11 applies control such as superimposed display on a captured image according to the posture of the text, the moving image, the CG, or a combination thereof using the posture information estimated by the image processing device 2, for example. The display device may be a PC, a television display, or a head mounted display. Further, it may be one that shares a housing with the imaging device 10, such as a camera-equipped mobile phone terminal. It should be noted that by using the information display device 11 having a configuration equipped with a touch panel, it is possible to substitute index detection described later with a user pointing operation. In the AR system, the CG is generally displayed in a superimposed manner on the moving image acquired by the imaging device. In the present invention, the CG may be displayed at an arbitrary position in the estimated reference coordinate system.
データベース12は、データを記録する装置であり、ハードディスクやフラッシュメモリ等の不揮発性メモリストレージや、ＰＣの主記憶装置に一般的に使用される揮発性メモリを用いてもよい。本発明では、少なくとも撮像装置10の内部パラメータと、指標の形状及び大きさとが記録されており、さらに重畳表示するためのＣＧのモデルを記録しておいてもよい。また、後述の形状のみ既知の指標に関しては形状のみ記録する。 The database 12 is a device for recording data, and may be a non-volatile memory storage such as a hard disk or a flash memory, or a volatile memory generally used for a main storage device of a PC. In the present invention, at least the internal parameters of the imaging device 10 and the shape and size of the index are recorded, and a CG model for superimposed display may be recorded. In addition, only the shape is recorded for an index whose shape is known later.
データベース12を画像処理装置2に含めることで、当該記録され必要となる情報を画像処理装置2において保持してもよい。また、画像処理装置2はデータベース12より自身の設定(利用環境など)に対応する必要な情報のみ取り寄せて保持しておいてもよい。 By including the database 12 in the image processing apparatus 2, the information that is recorded and necessary may be held in the image processing apparatus 2. Further, the image processing apparatus 2 may obtain and hold only necessary information corresponding to its own setting (usage environment, etc.) from the database 12.
図2は、画像処理装置2の機能ブロック図である。画像処理装置2は、撮像画像取得部3、指標検出部4と、指標姿勢推定部5、指標配置推定部6及び基準座標系推定部7を備える。当該各部の概要を以下説明する。 FIG. 2 is a functional block diagram of the image processing apparatus 2. The image processing apparatus 2 includes a captured image acquisition unit 3, an index detection unit 4, an index posture estimation unit 5, an index arrangement estimation unit 6, and a reference coordinate system estimation unit 7. The outline of each part will be described below.
なお本発明において、当該各部の扱う各対象に対する用語、特に空間上ないし平面上の関係に言及する用語に関して、以下のような区別を設けて用いるものとする。
（１）「姿勢」…平面射影変換の関係として表現される撮像装置（撮像装置座標系）に対する指標（指標座標系もしくは基準座標系）の位置姿勢、もしくはその逆関係として、指標に対する撮像装置に位置姿勢を示す用語。3次元空間における位置と姿勢とを決定する6次元ベクトルのパラメータであり、位置と姿勢を指すことから一般に「位置姿勢」と表現されるが、本稿では位置と姿勢をまとめて「姿勢」と表現する。
（２）「位置及び向き」…平面射影変換行列をピクセル座標系の指標に適用することにより求まる基準座標系の一平面における指標の位置及び向きを示す用語。
（３）「配置」…基準座標系の一平面またはピクセル座標系における指標間の位置関係を示す用語。本稿では、（２）の「位置及び向き」が主に単一の指標について言及する際に用いられるに対し、「配置」は主に複数の指標について言及する際に、それらの相対的な位置関係を示すのに用いられる。
Note that in the present invention, the following distinctions are used with respect to the terms for the objects handled by the respective parts, particularly the terms referring to the relationship in space or plane.
(1) “Attitude”: Position and orientation of an index (index coordinate system or reference coordinate system) with respect to an imaging apparatus (imaging apparatus coordinate system) expressed as a planar projective transformation relationship, or vice versa, Term indicating position and orientation. It is a 6-dimensional vector parameter that determines the position and orientation in 3D space, and is generally expressed as “position and orientation” because it refers to the position and orientation. To do.
(2) “Position and orientation”: A term indicating the position and orientation of an index in one plane of a reference coordinate system obtained by applying a plane projection transformation matrix to the index of the pixel coordinate system.
(3) “Arrangement”: a term indicating the positional relationship between indices in one plane of the reference coordinate system or in the pixel coordinate system. In this paper, (Position and orientation) in (2) is mainly used when referring to a single indicator, whereas “Arrangement” is mainly used when referring to multiple indicators. Used to show relationships.
撮像画像取得部3は、撮像装置10から撮像画像を取得し、指標検出部4に入力する。指標検出部4は、入力された撮像画像から指標を検出し、指標姿勢推定部5に入力する。指標姿勢推定部5は、入力された各指標の撮像装置10に対する姿勢を平面射影変換の関係として推定し、指標配置推定部6に入力する。 The captured image acquisition unit 3 acquires a captured image from the imaging device 10 and inputs it to the index detection unit 4. The index detection unit 4 detects the index from the input captured image and inputs it to the index posture estimation unit 5. The index posture estimation unit 5 estimates the posture of each input index with respect to the imaging device 10 as a relationship of plane projective transformation, and inputs it to the index arrangement estimation unit 6.
指標配置推定部6は、入力された各指標の撮像装置10に対する姿勢から基準座標系における各指標の初期配置を推定し、基準座標系推定部7に入力する。初期配置に関しては後述する。基準座標系推定部7は、入力された全指標の初期配置を用いて基準座標系の姿勢を推定する。当該構成によって、画像処理装置2は複数の指標の情報から高精度に基準座標系を推定することができる。以下、各部の処理の詳細について述べる。 The index arrangement estimation unit 6 estimates the initial arrangement of each index in the reference coordinate system from the attitude of each input index with respect to the imaging device 10, and inputs the estimated position to the reference coordinate system estimation unit 7. The initial arrangement will be described later. The reference coordinate system estimation unit 7 estimates the orientation of the reference coordinate system using the input initial arrangement of all indices. With this configuration, the image processing apparatus 2 can estimate the reference coordinate system with high accuracy from information of a plurality of indices. Details of the processing of each unit will be described below.
撮像画像取得部3は、撮像装置10から撮像画像を取得し、指標検出部4に入力する。撮像装置10から撮像画像取得部3が取得する撮像画像の画像サイズは限定しないが、後述する指標の検出処理に際して、その際の座標の丸め誤差の観点から解像度が高い方が望ましく、撮像装置10の撮像画像をそのまま指標検出部4に渡すのが望ましい。リアルタイム処理などで負荷が大きい場合は、所定の解像度に下げてから渡してもよい。 The captured image acquisition unit 3 acquires a captured image from the imaging device 10 and inputs it to the index detection unit 4. The image size of the captured image acquired by the captured image acquisition unit 3 from the imaging device 10 is not limited, but in the index detection process described later, a higher resolution is desirable from the viewpoint of rounding errors in coordinates at that time. It is desirable to pass the captured image directly to the index detection unit 4. When the load is large due to real-time processing or the like, it may be delivered after being lowered to a predetermined resolution.
指標検出部4は、入力された撮像画像から、予めデータベース12(図1)等において記録されている全ての種類の指標を撮像画像のピクセル座標系において検出し、以下説明する指標座標系における指標の形状及び大きさの情報と共に、指標姿勢推定部5に入力する。本発明における指標は、平面上に設置した際の相対的な位置座標関係が既知である点を少なくとも４つ以上有し（この状態を形状と大きさが既知であると表現する）、それぞれに対し撮像画像において対応する点を特定できるものであればよい。また、点ではなく線分の対応が求まるものでもよい。各指標がその他の指標と区別して撮像画像内より識別可能であるような特徴を有し、且つ上記既知の4点以上を有するのと同等の構成を有することで、後述の指標姿勢推定部5にて指標の撮像装置10に対する姿勢を推定できるような任意の指標を予め設定しておき、利用することができる。 The index detection unit 4 detects all types of indices recorded in advance in the database 12 (FIG. 1) or the like in the pixel coordinate system of the captured image from the input captured image, and the index in the index coordinate system described below. Are input to the index posture estimation unit 5 together with the shape and size information. The index in the present invention has at least four or more points whose relative positional coordinate relationship is known when installed on a plane (this state is expressed as a known shape and size), On the other hand, what is necessary is just to be able to specify the corresponding point in the captured image. Further, it may be possible to obtain the correspondence of a line segment instead of a point. Each index has a feature such that it can be distinguished from the other indices in the captured image, and has the same configuration as having the above four known points, so that an index posture estimation unit 5 described later An arbitrary index that can estimate the attitude of the index with respect to the imaging device 10 can be set in advance and used.
図3は、指標及び指標座標系を説明するための図である。指標として例えば(1)に示すような、ＡＲシステムにおいて一般的な正方指標を利用してよく、指標検出部4は内部の模様を認識することで頂点A、頂点B、頂点C及び頂点Dの各対応点を撮像画像から抽出することができる。 FIG. 3 is a diagram for explaining an index and an index coordinate system. For example, a square index generally used in the AR system as shown in (1) may be used as the index, and the index detection unit 4 recognizes the internal pattern to identify the vertex A, vertex B, vertex C, and vertex D. Each corresponding point can be extracted from the captured image.
各指標における点または線分等の位置は、各指標に任意の位置と向きとに設定した指標座標系により指定することが可能である。例えば、指標が正方指標である図3の(1)の場合は、(2)に示すように正方指標の重心を指標座標系の原点としてもよい。これにより、４頂点の座標が定まり、所定値として予め記録しておく指標座標系における頂点の座標と、それに対応するものとして指標検出部4が検出した撮像画像中の頂点の座標(ピクセル座標系における座標)とを１組として、各指標１つにつき少なくとも４組以上の頂点座標(又はこれに同等な情報)が指標姿勢推定部5に入力される。 The position of each index such as a point or a line segment can be specified by an index coordinate system set to an arbitrary position and orientation for each index. For example, in the case of (1) in FIG. 3 where the index is a square index, the center of gravity of the square index may be the origin of the index coordinate system as shown in (2). As a result, the coordinates of the four vertices are determined, and the coordinates of the vertices in the index coordinate system recorded in advance as predetermined values and the coordinates of the vertices in the captured image detected by the index detection unit 4 as the corresponding coordinates (pixel coordinate system) Are set as one set, and at least four or more vertex coordinates (or equivalent information) are input to the index posture estimation unit 5 for each index.
なお、本発明においては複数の指標が撮像画像内に存在し、少なくとも１つの指標の形状と大きさが既知である必要があるが、各指標間の位置関係（配置）は既知である必要はない。また、全ての指標に同種類の指標を用いる必要はなく、撮像画像内に異なる種類の指標が存在していてもよい。例えば、机等の平面上にそれぞれ各種の所定の指標が印刷されたカードを複数、カード同士の位置関係は特に決めることなくランダムに置いたのを撮像した撮像画像について、本発明を適用して、机の面における基準座標系を求めることができる。 In the present invention, a plurality of indices exist in the captured image, and the shape and size of at least one index need to be known, but the positional relationship (arrangement) between the indices needs to be known. Absent. Further, it is not necessary to use the same type of index for all the indexes, and different types of indexes may exist in the captured image. For example, the present invention is applied to a captured image obtained by imaging a plurality of cards each of which is printed with various predetermined indexes on a plane such as a desk, and randomly placed without any particular positional relationship between the cards. The reference coordinate system on the desk surface can be obtained.
さらに、一般的なＡＲシステムにおいては指標の形状と大きさが既知である必要があるが、本発明においては複数の指標のうち少なくとも１個の指標の形状と大きさが既知であればよい。大きさが未知である指標に関しては、指標座標系に配置する際に形状を保ったまま任意の大きさで配置して、指標姿勢推定部5にその情報を渡すようにしてもよい。 Further, in a general AR system, the shape and size of the index need to be known. However, in the present invention, it is sufficient that the shape and size of at least one index among the plurality of indexes is known. With respect to an index whose size is unknown, it may be arranged in an arbitrary size while maintaining its shape when being arranged in the index coordinate system, and the information may be passed to the index posture estimation unit 5.
例えば、本発明にて壁などの基準座標系を推定する際には、当該壁上に少なくとも１個の形状及び大きさが既知の指標を設けておき、さらに当該壁に形状のみ既知のロゴマークや窓枠などが存在すれば、それらを指標として追加利用することができる。 For example, when estimating a reference coordinate system such as a wall in the present invention, at least one index having a known shape and size is provided on the wall, and a logo mark having a known shape only on the wall. If there are windows or window frames, they can be additionally used as indicators.
なおまた、指標検出部4による指標検出処理を簡略化するために、図3の(3)に(1)の正方指標の場合に適用した例を示すように、指標に枠領域を設けておいてもよい。これにより撮像画像に２値化を施すことで指標領域を確実に抽出でき、指標領域の内部を認識することで指標の向きを検知することができる。もし枠を設けるのが困難である場合は、タッチパネル搭載の情報表示端末を用いてポインティングにより、ユーザが直接撮像画像を見て指定することで指標領域を検出してもよい。 In addition, in order to simplify the index detection process by the index detection unit 4, a frame region is provided in the index as shown in (3) in FIG. 3 in the example applied to the square index (1). May be. Thus, the index region can be reliably extracted by binarizing the captured image, and the direction of the index can be detected by recognizing the inside of the index region. If it is difficult to provide a frame, the index region may be detected by pointing the user directly by looking at the captured image by pointing using an information display terminal equipped with a touch panel.
指標姿勢推定部5は、各指標の撮像装置10に対する姿勢を推定し、指標配置推定部6に入力する。なお、各指標の撮像装置10に対する姿勢は、各指標を指標座標系からピクセル座標系に変換する平面射影変換行列として求める。 The index attitude estimation unit 5 estimates the attitude of each index with respect to the imaging device 10 and inputs the estimated attitude to the index arrangement estimation unit 6. Note that the posture of each index with respect to the imaging device 10 is obtained as a planar projection transformation matrix for converting each index from the index coordinate system to the pixel coordinate system.
指標姿勢推定部5は各指標に対して該当の平面射影変換行列を求めて、指標配置推定部6に入力する。よって指標配置推定部6に対しては、撮像画像内に存在する指標の個数分(指標検出部4が検出した指標の個数分)の平面射影変換行列が入力されることとなる。 The index posture estimation unit 5 obtains a corresponding plane projection transformation matrix for each index and inputs it to the index arrangement estimation unit 6. Therefore, the planar projection transformation matrix for the number of indices existing in the captured image (for the number of indices detected by the index detection unit 4) is input to the index arrangement estimation unit 6.
指標座標系における点を(Xm,Ym)、ピクセル座標系におけるその対応点を(u,v)、sをスケール係数とすると、平面射影変換行列Hは3×3行列であり、 If a point in the index coordinate system is (X m , Y m ), its corresponding point in the pixel coordinate system is (u, v), and s is a scale factor, then the planar projective transformation matrix H is a 3 × 3 matrix,
という関係式(式1)で表現できる。指標姿勢推定部5は(式1)における平面射影変換行列Hを求め、当該行列Hは指標座標系から撮像画像(ピクセル画像系)への写像であるが、いずれを順写像又は逆写像と呼ぶかは単に定義づけの問題であるので、この逆写像として求めてもよい。 It can be expressed by the relational expression (Formula 1). The index orientation estimation unit 5 obtains a planar projection transformation matrix H in (Equation 1), and the matrix H is a mapping from the index coordinate system to the captured image (pixel image system), which is called a forward mapping or a reverse mapping. Since this is simply a matter of definition, it may be obtained as this inverse mapping.
平面射影変換行列Hとその逆行列H−1とは、それぞれ図4に模式的に示す写像を表しており、逆行列H−1は平面射影変換行列Hとは逆にピクセル画像系から指標座標系への写像を表している。図4では、図3の(1)のような正方指標が、指標座標系(X,Y)においてその形状通りに正方形で与えられ、ピクセル座標系(u, v)において斜めに見えているために歪んでいる場合を例として、相互変換の関係を表している。 The planar projection transformation matrix H and its inverse matrix H −1 represent the mapping schematically shown in FIG. 4, and the inverse matrix H −1 is the index coordinate from the pixel image system, contrary to the planar projection transformation matrix H. It represents a mapping to the system. In FIG. 4, the square index as shown in (1) of FIG. 3 is given as a square according to its shape in the index coordinate system (X, Y), and appears diagonal in the pixel coordinate system (u, v). As an example, the relationship of mutual conversion is shown.
なお、同一平面上の少なくとも４組の点の対応または線分の対応から(式1)のような平面射影変換行列を求める計算はＣＧを重畳表示するＡＲシステムにおいては一般的であるため、詳細は割愛する。 Note that the calculation for obtaining a planar projective transformation matrix such as (Equation 1) from the correspondence of at least four pairs of points on the same plane or the line segment is common in an AR system that superimposes and displays CG. Will be omitted.
指標姿勢推定部5の各指標に対する姿勢の推定結果を用いての指標配置推定部6による初期配置の推定と、当該初期配置に基づいての基準座標系推定部7による基準座標系の姿勢の推定とは本発明の特徴的部分である。図5A〜図5Gは当該特徴的部分の意義を説明するための一連の図であり、ここでは説明のための例として正方指標の指標1〜3を用いる。 Estimation of the initial arrangement by the index arrangement estimation unit 6 using the estimation result of the attitude for each index of the index attitude estimation unit 5 and estimation of the attitude of the reference coordinate system by the reference coordinate system estimation unit 7 based on the initial arrangement Is a characteristic part of the present invention. FIG. 5A to FIG. 5G are a series of diagrams for explaining the significance of the characteristic part. Here, square indicators 1 to 3 are used as examples for explanation.
図5Aに示すように、同一平面上にある指標1〜3を(1)のように利用する場合であって、仮に本発明における前提とは異なり、当該全指標1〜3の位置関係が(2)に示すようなある基準座標系において既知であったとすると、(3)に示すように全指標1〜3の当該位置関係を拘束条件として用いて、ピクセル画像系と基準座標系との間の平面射影変換行列Hを計算可能である。 As shown in FIG.5A, when the indicators 1 to 3 on the same plane are used as shown in (1), unlike the premise in the present invention, the positional relationship of all the indicators 1 to 3 is ( If it is known in a certain reference coordinate system as shown in 2), the position relationship between all indices 1 to 3 is used as a constraint condition as shown in (3), The planar projective transformation matrix H can be calculated.
この場合、各指標1〜3及びそれらの間の位置関係からなる、多数の対応点(若しくは対応線又はそれらと同等な対応関係)を有する一つの大きな指標を利用しているとみなすことができ、当該多数の対応点等と同等な関係を利用できるので、ピクセル座標系と基準座標系との対応付けとしての平面射影変換行列Hが高精度で計算可能である。しかしながら、各指標1〜3の位置関係を予め定めておく必要が生ずる等の点で、簡素にARシステムが構築できなくなるという問題がある。さらに、指標が増えるほど当該困難は増す。 In this case, it can be considered that one large index having a large number of corresponding points (or corresponding lines or corresponding relations) consisting of each index 1 to 3 and the positional relationship between them is used. Since a relation equivalent to the large number of corresponding points can be used, the planar projective transformation matrix H as the correspondence between the pixel coordinate system and the reference coordinate system can be calculated with high accuracy. However, there is a problem that the AR system cannot be constructed simply because the positional relationship between the indices 1 to 3 needs to be determined in advance. Furthermore, the difficulty increases as the index increases.
そこで本発明においては、指標間の位置関係を予め決めておくことなく未知のものとして簡素にARシステムを構築可能とした上で、さらに図5Aの場合のように位置関係が既知である場合に近い推定精度が得られるようにする。このために、既知である位置関係の近似値として利用できる情報として、指標配置推定部6が共通の基準座標系における初期配置を求め、当該初期配置より基準座標系推定部7が基準座標系の推定を行う。以下、図5B〜図5Gにて当該一連の処理の骨子を説明する。 Therefore, in the present invention, it is possible to simply construct an AR system as an unknown without previously determining the positional relationship between indices, and when the positional relationship is already known as in the case of FIG. 5A. Ensure close estimation accuracy. For this purpose, as information that can be used as an approximate value of a known positional relationship, the index arrangement estimation unit 6 obtains an initial arrangement in a common reference coordinate system, and the reference coordinate system estimation unit 7 uses the reference coordinate system based on the initial arrangement. Make an estimate. Hereinafter, the outline of the series of processes will be described with reference to FIGS. 5B to 5G.
本発明では、指標間の位置関係の情報は与えられていないが、各指標の撮像装置10に対する姿勢については上記説明した指標検出部4が求めている。例えば図5Bに示すように、指標1について(1)のピクセル座標系と(2)の当該指標1に対して求められた基準座標系との関係が(3)に示すような平面射影変換行列H1(又はその逆行列H1 −1)として求められており、指標2,3については各指標座標系との関係として平面射影変換行列H2,H3が求められている。 In the present invention, information on the positional relationship between the indexes is not given, but the above-described index detection unit 4 determines the posture of each index with respect to the imaging device 10. For example, as shown in FIG.5B, a planar projective transformation matrix in which the relationship between the pixel coordinate system of (1) and the reference coordinate system obtained for the index 1 of (2) is shown in (3) for index 1. It is obtained as H 1 (or its inverse matrix H 1 −1 ), and for the indices 2 and 3, plane projective transformation matrices H 2 and H 3 are obtained as a relationship with each index coordinate system.
指標1〜3は正方指標であり、(3)に示すように平面射影変換行列H1によってピクセル座標系で歪んだ指標1は指標1の指標座標系（基準座標系）において正方形に戻ることとなる。なお、図4の定義では正方形に戻す行列は、(3)にてH1に併記して括弧内に示している通り逆行列H1 −1となるが、図5B〜図5Gにおいては正方形となる基準座標系に戻す側を順写像として説明し、図4の手法の行列は当該(3)と同様に適宜括弧で図中に示すこととする。 The indices 1 to 3 are square indices, and the index 1 distorted in the pixel coordinate system by the plane projection transformation matrix H 1 returns to a square in the index coordinate system (reference coordinate system) of the index 1 as shown in (3). Become. In the definition of FIG. 4, the matrix returned to a square is an inverse matrix H 1 −1 as shown in parentheses along with H 1 in (3), but in FIG. 5B to FIG. The side returned to the reference coordinate system will be described as a forward mapping, and the matrix of the method of FIG. 4 will be appropriately indicated in parentheses in the figure as in the case (3).
指標1に対する平面射影変換行列H1を求める際、仮に特徴点の検出位置に関する誤差等がない理想的な状態で求められたとすれば、図5Bの(2)に点線で示すように、当該H1による変換で指標2及び3も指標1の基準座標系において本来の正方形の形状に戻ることとなる。 When determining the homography matrix H 1 for the index 1, if obtained in an ideal state without an error concerning the detected position of the assumed point feature, as indicated by a dotted line in (2) of FIG. 5B, the H With the conversion by 1 , the indices 2 and 3 also return to the original square shape in the reference coordinate system of the index 1.
しかしながら実際はある程度の誤差は避けられないので、図5Cの(3)及び(4)に示すように指標1の行列H1によって指標1の基準座標系に指標2及び3を戻すと、行列H1における誤差に起因して(2)に示すように本来の正方形ではなく、歪んだ形状と大きさになってしまう。これら歪んだ指標2,3を本来の正方形に戻すようにすることで、当該共通の指標1における基準座標系にて指標1以外の指標2及び3をも正確な形状と大きさとなるよう較正した配置が初期配置である。例えば指標2の当該指標1の基準座標系における初期配置は次のように求める。 However, since in practice it is inevitable some errors, when returning the index 2 and 3 to a reference coordinate system of the index 1 by a matrix H 1 of the index 1, as shown in (3) and (4) in FIG. 5C, the matrix H 1 As shown in (2), the shape and size are distorted instead of the original square. By returning these distorted indices 2 and 3 to their original squares, the indices 2 and 3 other than the index 1 were calibrated to have the correct shape and size in the reference coordinate system of the common index 1. The arrangement is the initial arrangement. For example, the initial arrangement of the index 2 in the reference coordinate system of the index 1 is obtained as follows.
図5Dの(3)に再度示すように、指標2について指標1の行列H1を適用すると、(2)のように歪んだ形状となる。しかしながら指標2に対しては指標1とは別途、(5)に示すように指標検出部4が行列H2を求めており、当該H2によって(4)に示すように指標1の基準座標系とは異なる指標2の指標座標系において指標2は本来の正方形に戻ることとなる。 As shown again in (3) of FIG. 5D, when the matrix 1 of the index 1 is applied to the index 2, a distorted shape is obtained as in (2). However, for index 2, separately from index 1, index detection unit 4 obtains matrix H 2 as shown in (5), and reference coordinate system of index 1 as shown in (4) by H 2 In the index coordinate system of the index 2 different from that, the index 2 returns to the original square.
しかしここで、本発明において各指標の間の位置関係は同一平面上にある以外に関して任意であるので、(4)に示す指標2の指標座標系と(2)に示す指標1の基準座標系との配置関係の情報が与えられていない。そこで、図5Cに示す歪んだ四角形を位置や向きはそのままに形状と大きさを較正することを考える。当該配置関係に相当する情報を行列H1及びH2から求めることで、図5Eの(2)及び(5)に示すように指標1の基準座標系において指標2が正方形に戻るような行列H2'を、次のようにして求めることができる。 However, in this invention, since the positional relationship between each index is arbitrary except for being on the same plane, the index coordinate system of index 2 shown in (4) and the reference coordinate system of index 1 shown in (2) Information on the arrangement relationship with is not given. Therefore, consider calibrating the shape and size of the distorted square shown in FIG. 5C while maintaining the position and orientation. By obtaining information corresponding to the arrangement relationship from the matrices H 1 and H 2 , a matrix H in which the index 2 returns to a square in the reference coordinate system of the index 1 as shown in (2) and (5) of FIG. 2 'can be obtained as follows.
まず、指標1のH1を用いて指標2の概略位置及び向きを求める。概略位置及び向きは、図5Cの説明で述べたように撮像画像中の指標2にH1を適用することにより求める。この概略位置及び向きを安定的に求めるために、ピクセル座標系を撮像装置座標系に合わせた上で、反復計算により再投影誤差を最小化したH1を用いてもよい。 First, the approximate position and orientation of index 2 are determined using H 1 of index 1. The approximate position and orientation are obtained by applying H 1 to the index 2 in the captured image as described in the explanation of FIG. 5C. In order to stably obtain the approximate position and orientation, H 1 that minimizes the reprojection error by iterative calculation after the pixel coordinate system is matched with the imaging apparatus coordinate system may be used.
続いて、求めた概略位置において形状及び大きさを較正するために前提となる数学的手法につき説明する。非特許文献１によれば、任意の平面射影変換行列Hanyは、相似変換行列HS、アフィン変換行列HA及び射影変換行列HPをそれぞれ、 Next, a mathematical method that is a prerequisite for calibrating the shape and size at the obtained approximate position will be described. According to Non-Patent Document 1, an arbitrary planar projective transformation matrix H any includes a similarity transformation matrix H S , an affine transformation matrix H A, and a projection transformation matrix H P , respectively.
の(式2)〜(式4)のように表したとき、(式3)中のKに関してdet(K)=1という制約の元で
Hany = HS HA HP …(式5)
という形式に一意に分解できる。
(Expression 2) to (Expression 4) of (Equation 3) under the constraint det (K) = 1 for K in (Expression 3)
H any = H S H A H P (Formula 5)
Can be uniquely decomposed into the form
[非特許文献1] R. Hartley and A. Zisserman: "Multiple view geometry in computer vision, second edition," Cambridge University Press, 2003. [Non-Patent Document 1] R. Hartley and A. Zisserman: "Multiple view geometry in computer vision, second edition," Cambridge University Press, 2003.
指標配置推定部6は、当該(式5)の分解を指標姿勢推定部5から入力された各指標に対する平面射影変換行列につき行う。従って、指標1及び指標2に関しても同様に、次のような分解が行われる。
H1 = H1S H1A H1P …(式6)
H2 = H2S H2A H2P …(式7)
The index arrangement estimation unit 6 performs the decomposition of (Equation 5) on the plane projection transformation matrix for each index input from the index posture estimation unit 5. Accordingly, the following decomposition is similarly performed for the index 1 and the index 2.
H 1 = H 1S H 1A H 1P (Equation 6)
H 2 = H 2S H 2A H 2P (Equation 7)
なお、指標2の形状及び大きさを較正する場合は、上記の分解の前にH1とH2とのいずれも指標2の重心を原点としたピクセル座標系と指標座標系との関係として求めておくものとする。ここで指標座標系に関しては重心を原点とする必要はない。当該詳細については後述する。 When calibrating the shape and size of index 2, both H 1 and H 2 are determined as the relationship between the pixel coordinate system and the index coordinate system with the center of gravity of index 2 as the origin before the above decomposition. Shall be kept. Here, the center of gravity need not be the origin for the index coordinate system. The details will be described later.
ここで、(式5)等の分解において、HS は大きさ、位置及び向きに関する変換を表しており、HA はアフィン歪みに関する変換を表しており、HP は射影歪みに関する変換を表しているという関係がある。 Here, in the degradation of (Equation 5) or the like, H S represents the conversion on the size, position and orientation, H A represents a transform relating affine distortion, the H P represents the translations for perspective distortion There is a relationship.
そこで、指標配置推定部6は当該関係を利用することで、図5Eに示すような、指標2を指標1の基準座標系において本来の正方形の形状及び大きさとして正確に配置した初期配置を求めるための行列H2'を次のように求める。
H2' ＝ H1S[2S] H2A H2P …(式8)
Therefore, the index arrangement estimation unit 6 uses this relationship to obtain an initial arrangement in which the index 2 is accurately arranged as the original square shape and size in the reference coordinate system of the index 1 as shown in FIG. 5E. A matrix H 2 ′ is obtained as follows.
H 2 '= H 1S [2S] H 2A H 2P ... (Formula 8)
ここで、H1S[2S] はH1Sにおいてその大きさ変換の要素、すなわち(式2)中のスケールsに対応する部分を、H2sのスケールで置き換えた行列である。よって指標2は、(式8)による変換の適用により、まずH1S[2S] によって指標1の基準座標系に移すと共に当該座標系における指標2の大きさとなし、さらに当該座標系において図5C及び5Dにて示したように歪んでいる形状を、H2A H2P によって本来の正方形に戻ることができ、指標2の初期配置が求まることとなる。 Here, H 1S [2S] is a matrix obtained by replacing the element corresponding to the scale s in (Equation 2) with the scale of H 2s in the size conversion element in H 1S . Therefore, the index 2 is first transferred to the reference coordinate system of the index 1 by H 1S [2S] by applying the transformation according to (Equation 8), and the size of the index 2 in the coordinate system is further reduced. As shown in 5D, the distorted shape can be returned to the original square by H 2A H 2P , and the initial arrangement of the index 2 can be obtained.
指標配置推定部6はまた、指標3についても同様にして、予めH1及びH3を指標3の重心をピクセル画像系の原点として求めておいてから、次の(式9)のように行列H3の分解を行い、さらに(式10)に従って指標3を指標1の基準座標系において正確に配置させた初期配置となす行列H3'を求める。こうして、指標2が図5Eにて本来の正方形に戻ったように、指標3も図5Fの(2)及び(5)に示すように指標1の基準座標系において正方形となるようにすることができる。なお、(式10)においても(式8)と同様にH1S[3S] はH1SにおいてそのスケールをH3sのスケールで置き換えたものである。
H3 = H3S H3A H3P …(式9)
H3' ＝ H1S[3S] H3A H3P …(式10)
Similarly, the index placement estimation unit 6 also calculates H 1 and H 3 in advance in the same manner for the index 3, using the center of gravity of the index 3 as the origin of the pixel image system, and then the matrix as shown in (Equation 9) below. H 3 is decomposed, and further, a matrix H 3 ′ that is an initial arrangement in which the index 3 is accurately arranged in the reference coordinate system of the index 1 is obtained according to (Equation 10). In this way, as the index 2 returns to the original square in FIG.5E, the index 3 also becomes a square in the reference coordinate system of the index 1 as shown in (2) and (5) of FIG. it can. In (Equation 10), as in (Equation 8), H 1S [3S] is obtained by replacing the scale of H 1S with the scale of H 3s .
H 3 = H 3S H 3A H 3P (Equation 9)
H 3 '= H 1S [3S] H 3A H 3P (Equation 10)
そして、図5Gの(2)及び(4)に示すように、基準座標系推定部7は、共通の指標1座標系（基準座標系）における初期配置としてH1を用いて推定された指標1の初期配置と、H2'を用いて推定された指標2の初期配置と、H3'を用いて推定された指標3の初期配置とを全て組み合わせた配置と、(1)に示す当該指標1〜3全てのピクセル画像系における配置との全体の対応関係として、(3)に示すように平面射影変換行列Hを求める。 Then, as shown in (2) and (4) of FIG. 5G, the reference coordinate system estimation unit 7 uses the index 1 estimated using H 1 as the initial arrangement in the common index 1 coordinate system (reference coordinate system). , The initial arrangement of index 2 estimated using H 2 ′, and the combination of all of the initial arrangement of index 3 estimated using H 3 ′, and the corresponding index shown in (1) As the overall correspondence with the arrangement in all the pixel image systems 1 to 3, a plane projection transformation matrix H is obtained as shown in (3).
当該行列Hが、基準座標系としての指標1座標系の撮像装置10に対する姿勢を推定した結果に相当し、初期配置によって全ての指標の配置を拘束条件として利用できるようになるので、図5Aで説明したような各指標間の位置関係が既知である場合に準じた、当該既知の場合の結果に対する近似値としての推定結果が、位置関係を未知として得られることとなる。 The matrix H corresponds to the result of estimating the orientation with respect to the imaging device 10 of the index 1 coordinate system as the reference coordinate system, and the placement of all the indexes can be used as a constraint condition by the initial placement. According to the case where the positional relationship between the indices as described above is known, an estimation result as an approximate value for the result of the known case is obtained with the positional relationship unknown.
なお、上記のように計算対象は異なるが、基準座標系推定部7が当該行列Hを求める計算自体については指標姿勢推定部5におけるものと同様である。当該計算に際して、点などの対応をもとに求めた平面射影変換行列から得られる撮像装置10の姿勢パラメータから初期値を算出し、反復手法を用いて再投影誤差関数を最小化するように姿勢パラメータを最適化してもよい。 Although the calculation target is different as described above, the calculation itself by which the reference coordinate system estimation unit 7 obtains the matrix H is the same as that in the index posture estimation unit 5. At the time of the calculation, the initial value is calculated from the attitude parameter of the imaging device 10 obtained from the planar projective transformation matrix obtained based on the correspondence of points, etc., and the reprojection error function is minimized using an iterative method. The parameters may be optimized.
以下、図5A〜図5Gにてその骨子の説明をした指標配置推定部6の処理の詳細を説明する。 Hereinafter, the details of the processing of the index arrangement estimating unit 6 that has explained the gist of the present invention with reference to FIGS. 5A to 5G will be described.
図4の定義で順写像・逆写像を定めることとすると、指標配置推定部6は、基準座標系における各指標i(i＝1,2,...,n)の初期配置を推定し、基準座標系推定部7に入力するためにまず、指標姿勢推定部5から入力された各指標iの撮像装置10に対する姿勢を表している行列Hiにつき、逆の関係としてピクセル座標系から各指標iにおける指標座標系に変換する逆行列Hi −1に対して、(式5)で説明したように次のn個の分解を行う。
Hi −1 ＝ HiS HiA HiP ( i＝1,2,...,n ) …(式11)
Assuming that the forward mapping and the reverse mapping are defined in the definition of FIG. 4, the index arrangement estimation unit 6 estimates the initial arrangement of each index i (i = 1, 2,..., N) in the reference coordinate system, In order to input to the reference coordinate system estimation unit 7, first, each index from the pixel coordinate system is reversed as a matrix H i representing the orientation of each index i input from the index orientation estimation unit 5 with respect to the imaging device 10. As described in (Equation 5), the following n decompositions are performed on the inverse matrix H i −1 to be converted into the index coordinate system at i .
H i −1 = H iS H iA H iP (i = 1,2, ..., n) (Equation 11)
なお、上記の分解の前に、基準指標j（後述）以外の指標に対応する行列Hiに関しては、各指標iの重心を原点としたピクセル座標系と指標座標系との関係として求めておくものとする。また、基準指標jに対応する行列Hjに関しては、後述の工程において指標iの初期配置を推定する際に、指標iの重心を原点としたピクセル座標系と指標座標系との関係として各指標iに対して求めておく必要がある。そのため、基準指標jを除く各指標i(i＝1,2,...,n)について、その指標の重心を原点としたピクセル座標系と指標座標系との関係として基準指標に対応する行列を求め、上記の分解を施しておく。なお前述の通り、指標座標系に関しては重心を原点とする必要はない。 Prior to the above decomposition, the matrix H i corresponding to an index other than the reference index j (described later) is obtained as a relationship between the pixel coordinate system and the index coordinate system with the center of gravity of each index i as the origin. Shall. In addition, regarding the matrix H j corresponding to the reference index j, when estimating the initial arrangement of the index i in a process described later, each index is expressed as the relationship between the pixel coordinate system with the center of gravity of the index i as the origin and the index coordinate system. It is necessary to find for i. Therefore, for each index i (i = 1, 2,..., N) excluding the reference index j, a matrix corresponding to the reference index as the relationship between the pixel coordinate system and the index coordinate system with the center of gravity of the index as the origin And the above decomposition is performed. As described above, the center of gravity need not be the origin for the index coordinate system.
いま、上記(式11)においては各指標iにつき指標姿勢推定部5がそれぞれ個別に推定した合計n個の指標座標系が存在しており、指標配置推定部6ではこの中から基準座標系として利用する一つの指標座標系を選択する。例えば図5A〜図5Gの例の場合であると、指標1〜3の中から指標1の指標座標系が基準座標系として選択された。基準座標系の指標を基準指標と呼ぶこととする。 Now, in the above (Equation 11), there are a total of n index coordinate systems estimated individually by the index attitude estimation unit 5 for each index i, and the index placement estimation unit 6 uses this as a reference coordinate system. Select one index coordinate system to use. For example, in the case of the examples of FIGS. 5A to 5G, the index coordinate system of the index 1 is selected from the indices 1 to 3 as the reference coordinate system. The index of the reference coordinate system is called a reference index.
当該選択は、乱数などを用いて任意の１つの指標を選択するようにしてもよい。また、撮像画像中の各指標の中で面積(指標が占めている領域)が最大のものや、指標姿勢推定部5において平面射影変換行列を求める際の誤差が最小となるものなど、所定基準によって特定の指標を選択してもよい。 In the selection, any one index may be selected using a random number or the like. In addition, predetermined criteria such as the one with the largest area (area occupied by the indicator) among the indicators in the captured image and the one with the smallest error in obtaining the planar projection transformation matrix in the indicator posture estimation unit 5 A specific index may be selected by.
指標座標系を特定する情報は、平面射影変換行列Hの逆行列H−1の分解により得られる相似変換行列HSに(式2)で示したように含まれる回転行列R及び並進ベクトルtに格納されており、基準座標系として利用する指標座標系はこの回転行列及び並進ベクトルをもって指定することができる。 Information specifying the index coordinate system is included in the rotation matrix R and the translation vector t included in the similarity transformation matrix H S obtained by decomposing the inverse matrix H −1 of the planar projection transformation matrix H as shown in (Equation 2). The index coordinate system that is stored and used as the reference coordinate system can be specified by this rotation matrix and translation vector.
上述で特定若しくは任意の指標から選択した基準座標系を特定する回転行列及び並進ベクトルをそれぞれRbase及びtbaseとする。 The rotation matrix and the translation vector that specify the reference coordinate system selected from the above-described specific or arbitrary indices are R base and t base , respectively.
指標配置推定部6は続いて、各平面射影変換行列の逆行列Hi −1に内在する指標座標系の姿勢を基準座標系の姿勢に揃える。具体的には、各指標iに対応する平面射影変換行列の逆行列Hi −1の分解により得られる相似変換行列HiSにおいて、その内部の回転行列及び並進ベクトルをそれぞれRbase及びtbaseにより置換してHiS' となし、当該HiS' をもって各平面射影変換行列の逆行列を次のように再計算する。
Hi −1 [再計算] ＝ HiS' HiA HiP ( i＝1,2,...,n ) …(式12)
Subsequently, the index arrangement estimation unit 6 aligns the attitude of the index coordinate system inherent in the inverse matrix H i −1 of each planar projection transformation matrix with the attitude of the reference coordinate system. Specifically, in the similar transformation matrix H iS obtained by decomposing the inverse matrix H i −1 of the planar projective transformation matrix corresponding to each index i, the internal rotation matrix and translation vector are expressed by R base and t base , respectively. Replace with H iS 'and recalculate the inverse matrix of each plane projection transformation matrix with H iS ' as follows.
H i −1 [recalculation] = H iS 'H iA H iP (i = 1,2, ..., n) (Equation 12)
このとき、先の説明で述べたように、指標iの回転行列及び並進ベクトルを置換する際は、指標iの重心を原点としたピクセル座標系と指標座標系との関係として求めた基準指標jに対応する平面射影変換行列Hjについて、その分解により得られるRbase及びtbaseが適宜選択されるものとする。なお、仮に重心を原点としない場合、HiA HiPは歪み較正のみではなく移動をも行うことになる。重心を原点とすることで基本的には歪み較正のみを行うようにすることができ、(式12)のように指標の位置及び向きを決定する要素のみ置換することができる。 At this time, as described above, when replacing the rotation matrix and translation vector of the index i, the reference index j obtained as the relationship between the pixel coordinate system and the index coordinate system with the center of gravity of the index i as the origin R base and t base obtained by the decomposition of the planar projective transformation matrix H j corresponding to are appropriately selected. If the center of gravity is not used as the origin, Hi A H iP not only performs distortion calibration but also moves. By using the center of gravity as the origin, it is basically possible to perform only distortion calibration, and it is possible to replace only the elements that determine the position and orientation of the index as in (Equation 12).
なお、HiS'においてスケールsの値は置換対象ではないので、当初のHiSにおける値のままである。また、基準座標系として選択された指標jに関しては当然ながら、当該再計算は不要である。 Note that the value of the scale s in H iS ′ is not a replacement target, and thus remains the value in the original H iS . Of course, the recalculation is unnecessary for the index j selected as the reference coordinate system.
上記再計算(式12)は、大きさ(及び形状)が既知の指標iを対象としたものである。大きさが未知(且つ形状が既知)の指標に対応する平面射影変換行列の逆行列Hi −1に対して上記再計算に相当する置換を施す際は、大きさが既知の指標の場合とは異なり、Hi −1の分解により得られる相似変換行列Hsに含まれるスケールsも同時に置換する必要がある。 The recalculation (Equation 12) is for an index i whose size (and shape) is known. When performing the substitution corresponding to the above recalculation on the inverse matrix H i −1 of the planar projection transformation matrix corresponding to the index whose size is unknown (and whose shape is known), In contrast, the scale s included in the similarity transformation matrix H s obtained by the decomposition of H i −1 must be replaced at the same time.
このとき、スケールsの置換に用いる値としては、大きさが既知である指標に対応する平面射影変換行列の逆行列に含まれるスケールを選択してもよい。大きさが既知の指標が複数存在する場合、乱数などで任意の1つを選択してもよく、また、撮像画像中に写る大きさが最大の指標に対応する平面射影変換行列の逆行列に含まれるスケールを選択してもよい。また、大きさが既知の指標に対応する平面射影変換行列の逆行列に含まれるスケールの平均に置換してもよい。 At this time, as a value used for the replacement of the scale s, a scale included in the inverse matrix of the planar projective transformation matrix corresponding to the index whose size is known may be selected. If there are multiple indices with known sizes, you can select any one of them using random numbers, etc., and the inverse matrix of the planar projection transformation matrix corresponding to the index of the largest size in the captured image. The included scale may be selected. Moreover, you may replace with the average of the scale contained in the inverse matrix of the planar projection transformation matrix corresponding to the parameter | index with a known magnitude | size.
なお、スケールの置換に用いる値を求める際に用いる他の各指標kに対応する平面射影変換行列Hkに関しても(式12)等にて説明したのと同様に、スケールの置換を行う指標iの重心を原点としたピクセル座標系と指標座標系との関係として求めたものを使用する。 Note that the index i for replacing the scale is the same as described in (Equation 12) for the plane projection transformation matrix H k corresponding to each of the other indices k used for obtaining the value used for the scale replacement. What is obtained as the relationship between the pixel coordinate system and the index coordinate system with the center of gravity as the origin is used.
このように得られる各平面射影変換行列の逆行列を用いることで、指標配置推定部6は各指標の基準座標系における配置を初期配置として推定することができる。ピクセル座標系における指標の一点を(u, v)、その指標に対応する再計算された平面射影変換行列の逆行列をH'−1、基準座標系におけるその対応点を(Xb, Yb)とすると、 By using the inverse matrix of each planar projective transformation matrix obtained in this way, the index arrangement estimation unit 6 can estimate the arrangement of each index in the reference coordinate system as the initial arrangement. One point of the index in the pixel coordinate system is (u, v), the inverse matrix of the recalculated plane projective transformation matrix corresponding to that index is H ' −1 , and its corresponding point in the reference coordinate system is (X b , Y b )
という関係式(式13)により各点の基準座標系における対応点を求める。以上により、指標配置推定部6は指標間の配置に関する事前情報なしに同一平面上に存在する指標の初期配置を推定することができる。 The corresponding point in the reference coordinate system of each point is obtained by the relational expression (formula 13). As described above, the index arrangement estimation unit 6 can estimate the initial arrangement of the indices existing on the same plane without prior information regarding the arrangement between the indices.
以上、指標は全て同一平面上にあるものとしての基本的な場合を説明した。ここで、注目すべき応用的な場合として、追加情報を利用することにより指標配置推定部6では図1の例における平面P1に対して平面P2のような、同一平面上に存在しない指標の初期配置も求めることもできる。当該実施形態を図1を用いて説明する。 In the above, the basic case where all the indicators are on the same plane has been described. Here, as a noteworthy application case, by using additional information, the indicator placement estimation unit 6 uses an initial indicator that does not exist on the same plane, such as the plane P2, with respect to the plane P1 in the example of FIG. Placement can also be determined. The embodiment will be described with reference to FIG.
前述の基本的な場合の手法により、図1の(2)に示す基準座標系のXY平面(平面P1)に存在する３つの指標1〜3の初期配置は求めることができる。当該一実施形態においては(3)に示すY'Z'平面(平面P2)上に存在する指標の、当該平面P2上における初期配置も求めることが可能となる。基準座標系推定部7はさらに当該別平面P2上の初期配置を基本的な場合で求めた平面P1上の初期配置に加えて利用することで、利用する指標の数を増し、平面P1の基準座標系をより高精度に推定できる。 The initial arrangement of the three indices 1 to 3 existing on the XY plane (plane P1) of the reference coordinate system shown in (2) of FIG. 1 can be obtained by the above-described basic case technique. In the embodiment, it is also possible to obtain the initial arrangement on the plane P2 of the indices existing on the Y′Z ′ plane (plane P2) shown in (3). The reference coordinate system estimation unit 7 further increases the number of indices to be used by using the initial arrangement on the other plane P2 in addition to the initial arrangement on the plane P1 obtained in the basic case, and the reference of the plane P1 The coordinate system can be estimated with higher accuracy.
基本的な場合の手法によって指標配置推定部6においてXY平面(平面P1)上の指標に関して、例えば指標1の指標座標系を選択して(2)に示すようにその基準座標系（XYZ座標系）とし、初期配置を求めたように、Y'Z'平面(平面P2)上の指標においても同様にX'Y'Z'座標系を基準とした配置を(3)に示すように求めることを考える。 For the index on the XY plane (plane P1) in the index placement estimation unit 6 by the basic case technique, for example, the index coordinate system of the index 1 is selected, and the reference coordinate system (XYZ coordinate system as shown in (2)) ), And as shown in (3), as for the index on the Y'Z 'plane (plane P2), the layout based on the X'Y'Z' coordinate system is also determined as shown in (3). think of.
このとき、Y'Z'平面においてX'Y'Z'座標系を特定する回転行列と並進ベクトルとが必要となるが、これは基準座標系に配置された指標の平面射影変換行列に対して座標軸の回転と平行移動とを適用することによってX'Y'Z'座標系のY'Z'平面における平面射影変換行列を求め、その平面射影変換行列を分解することにより求まる。つまり、同一平面上に存在しない指標の初期配置を求めるためには、例えばXYZ座標軸とX'Y'Z'座標軸の相対関係といった、同一平面上に存在しない指標の平面を特定できる情報さえ持っていればよい。 At this time, a rotation matrix and a translation vector that specify the X'Y'Z 'coordinate system in the Y'Z' plane are required. This is relative to the plane projection transformation matrix of the index placed in the reference coordinate system. The plane projection transformation matrix in the Y'Z 'plane of the X'Y'Z' coordinate system is obtained by applying the rotation and translation of the coordinate axes, and is obtained by decomposing the plane projection transformation matrix. In other words, in order to obtain the initial arrangement of indices that do not exist on the same plane, there is even information that can identify the plane of an index that does not exist on the same plane, such as the relative relationship between the XYZ coordinate axes and the X'Y'Z 'coordinate axes Just do it.
当該特定する情報を図6で説明する。ここでは指標1を基準指標とし、その基準座標系XYZの平面XY上のその他の指標(不図示)に加え、別平面X'Y'上の指標4をさらに追加で利用する場合を例とする。別平面X'Y'を特定するためには座標系X'Y'Z'の情報が既知であればよく、次のようにして特定とすることができる。 The information to be specified will be described with reference to FIG. In this example, index 1 is used as a reference index, and in addition to other indices (not shown) on plane XY of the reference coordinate system XYZ, index 4 on another plane X'Y 'is additionally used as an example. . In order to specify another plane X′Y ′, information of the coordinate system X′Y′Z ′ may be known, and can be specified as follows.
画像処理装置2においてエッジ検出などの処理によって線分X'を検出し、又は当該線分をユーザ指定により識別し、さらにXY平面とX'Z'平面とが同一であることが既知であれば基準座標座標系に対してX'Y'平面を特定できる。あるいは基準指標1の基準座標系におけるX'Y'平面の姿勢の情報を予め画像処理装置2において既知情報として保持するか、又はユーザ入力により取得するようにしてもよい。 If line segment X 'is detected by processing such as edge detection in image processing apparatus 2, or the line segment is identified by user designation, and it is known that the XY plane and X'Z' plane are the same The X'Y 'plane can be specified with respect to the reference coordinate system. Alternatively, information on the posture of the X′Y ′ plane in the reference coordinate system of the reference index 1 may be held as known information in the image processing apparatus 2 in advance or may be acquired by user input.
なお、図1の例に戻り、指標1〜3の初期配置と合わせて基準座標系推定部7での計算を可能にするため指標4については指標1〜3と共通の平面P1の基準座標系で表現された初期配置を求める必要があるが、平面P1の基準座標系における指標4の配置は平面P2の座標系における初期配置（2次元座標）から3次元座標として求めることができる。指標1〜4の基準座標系における3次元座標と対応する撮像画像のピクセル座標系における2次元座標との関係により、基準座標系が計算される。 Returning to the example of FIG. 1, in order to enable calculation in the reference coordinate system estimation unit 7 together with the initial arrangement of the indicators 1 to 3, the reference coordinate system of the plane P1 common to the indicators 1 to 3 is used for the indicator 4. However, the arrangement of the index 4 in the reference coordinate system of the plane P1 can be obtained as a three-dimensional coordinate from the initial arrangement (two-dimensional coordinates) in the coordinate system of the plane P2. The reference coordinate system is calculated based on the relationship between the three-dimensional coordinates of the indices 1 to 4 in the reference coordinate system and the corresponding two-dimensional coordinates in the pixel coordinate system of the captured image.
これにより、複数の指標が任意の２平面上に存在しても、座標軸間の相対関係が既知であれば、いずれかの平面上のいずれかの指標(形状及び大きさが既知)による共通の基準座標系によって２平面上の全ての指標に対する初期配置を推定することが可能である。平面射影変換行列に座標軸の回転と平行移動とを適用する計算に関しては、非特許文献１等に詳細が開示されている。 As a result, even if a plurality of indices exist on two arbitrary planes, if the relative relationship between coordinate axes is known, a common index by any index on one of the planes (having a known shape and size) It is possible to estimate the initial arrangement for all indices on the two planes by the reference coordinate system. Details regarding the calculation for applying rotation and translation of coordinate axes to the planar projective transformation matrix are disclosed in Non-Patent Document 1 and the like.
なお、平面P1及びP2の特定処理も指標の検出の際に、各指標へのユーザからのポインティング指示を利用して、各指標がいずれの平面に属するかの情報をユーザから得るようにしてもよい。また自動検出手法として、当該目的としている平面以外の箇所に検出されることがないような特定の指標を予め用意してデータベース12又は画像処理装置2でその情報を保持しておいてもよいし、さらに当該指標のうち平面P1に利用するものと、平面P2に利用するものとを予め区別しておいてもよい。 Note that the identification processing of the planes P1 and P2 also uses the pointing instruction from the user to each index when the index is detected, so that the user can obtain information on which plane each index belongs to from the user. Good. Further, as an automatic detection method, a specific index that is not detected in a place other than the target plane may be prepared in advance, and the information may be held in the database 12 or the image processing apparatus 2. Further, among the indicators, those used for the plane P1 and those used for the plane P2 may be distinguished in advance.
また同様に自動検出手法として、平面P1及び平面P2自体のテクスチャ情報等を保持しておき、指標検出部4は前処理として撮像画像において平面P1及びP2を領域として検出してから、当該領域内で指標を検出するようにしてもよい。当該平面領域の指定情報をユーザに入力させるようにしてもよい。あるいは撮像画像自体をあらかじめ平面P1のみ、又は平面P1及び平面P2のみ、が写った状態で用意するようにしてもよい。 Similarly, as an automatic detection method, texture information and the like of the plane P1 and the plane P2 itself are stored, and the index detection unit 4 detects the planes P1 and P2 as areas in the captured image as preprocessing, The index may be detected by. You may make it make a user input the designation | designated information of the said plane area | region. Alternatively, the captured image itself may be prepared in a state where only the plane P1 or only the plane P1 and the plane P2 are captured in advance.
1…ＡＲシステム、2…画像処理装置、10…撮像装置、11…情報表示装置、12…データベース、3…撮像画像取得部、4…指標検出部、5…指標姿勢推定部、6…指標配置推定部、7…基準座標系推定部 DESCRIPTION OF SYMBOLS 1 ... AR system, 2 ... Image processing apparatus, 10 ... Imaging apparatus, 11 ... Information display apparatus, 12 ... Database, 3 ... Captured image acquisition part, 4 ... Index detection part, 5 ... Index attitude | position estimation part, 6 ... Index arrangement | positioning Estimator, 7 ... Reference coordinate system estimator
Claims (8)
前記撮像画像より指標を検出する指標検出部と、
前記検出された各指標の前記撮像装置に対する姿勢を平面射影変換の関係として推定する指標姿勢推定部と、
前記推定された各姿勢より前記基準座標系における各指標の初期配置を推定する指標配置推定部と、
前記推定された各指標の初期配置と前記検出された各指標の前記撮像画像上における配置との全体としての対応関係より、前記基準座標系の前記撮像装置に対する姿勢を推定する基準座標系推定部と、を備え、
前記指標配置推定部は、前記推定された各姿勢に対応する平面射影変換を大きさ、位置及び向き並びに歪みに対応する各要素に分解し、1つの指標において前記推定された姿勢により表される平面上での当該１つの指標の前記既知である配置によって当該1つの指標の初期配置を定めると共に、当該1つの指標以外の各指標の初期配置を、当該1つの指標における位置及び向きの要素と当該各指標における大きさ及び歪みの要素との合成によって前記平面上に定め、
前記指標配置推定部は前記各平面射影変換を、大きさ並びに位置及び向きに対応する相似変換と、歪みに対応するアフィン変換及び射影変換と、に分解することを特徴とする画像処理装置。 It is configured so that at least four points or line segments on the same plane can be specified , and there are a plurality of indexes whose arrangement as relative positional coordinate relationships of each of the at least four points or line segments is known. An image processing apparatus that estimates a reference coordinate system in which a plurality of indices are installed from a captured image captured by an imaging apparatus that is installed on the same plane,
An index detection unit for detecting an index from the captured image;
An index attitude estimation unit that estimates the attitude of each detected index with respect to the imaging device as a relationship of planar projection transformation;
An index placement estimation unit that estimates an initial placement of each index in the reference coordinate system from each of the estimated postures;
A reference coordinate system estimation unit that estimates the orientation of the reference coordinate system with respect to the imaging device based on the overall correspondence between the estimated initial placement of the indices and the placement of the detected indices on the captured image. And comprising
The index arrangement estimation unit decomposes the planar projective transformation corresponding to each estimated posture into elements corresponding to size, position, orientation, and distortion, and is represented by the estimated posture in one index The initial arrangement of the one index is determined by the known arrangement of the one index on a plane, and the initial arrangement of each index other than the one index is determined by the position and orientation elements of the one index. Determined on the plane by combining with the size and distortion elements in each index,
The image processing apparatus according to claim 1, wherein the index arrangement estimation unit decomposes each planar projection transformation into a similarity transformation corresponding to a size, a position, and an orientation, and an affine transformation and a projection transformation corresponding to distortion.
前記指標配置推定部は、当該その他の指標の初期配置を前記合成して定める際に利用するための大きさを、当該その他の指標以外の指標を前記分解して得られた大きさに基づいて決定することを特徴とする請求項３に記載の画像処理装置。 Among the plurality of indicators, in other indicators other than the indicator whose size and shape are known, only the shape is known among the sizes and shapes,
The index arrangement estimation unit is configured to use a size to be used when the initial arrangement of the other indices is synthesized and determined based on a size obtained by decomposing the indices other than the other indices. The image processing apparatus according to claim 3, wherein the determination is performed.
前記指標検出部は前記撮像画像よりさらに前記別平面上の指標を検出し、
前記指標配置推定部は前記１つの指標として前記同一平面上の指標を採用すると共に、さらに、前記別平面上の指標の初期配置を、前記1つの指標における位置及び向きの要素に前記同一平面に対する既知の姿勢を加味した要素と当該別平面上の指標における大きさ及び歪みの要素との合成によって定めることを特徴とする請求項1ないし６のいずれかに記載の画像処理装置。 It is configured to be able to identify at least four points or line segments on the same plane on a different plane where the attitude to the same plane is known by knowing the attitude with respect to the one index , At least one index whose arrangement as a relative positional coordinate relationship of each of the at least four points or line segments is known is arranged;
The index detection unit detects an index on the another plane further than the captured image,
The index arrangement estimation unit adopts the index on the same plane as the one index, and further sets the initial arrangement of the index on the other plane with respect to the same plane as the element of the position and orientation in the one index. 7. The image processing apparatus according to claim 1, wherein the image processing apparatus is determined by combining an element taking a known posture and an element of size and distortion in an index on another plane.
前記撮像画像より指標を検出する指標検出ステップと、
前記検出された各指標の前記撮像装置に対する姿勢を平面射影変換の関係として推定する指標姿勢推定ステップと、
前記推定された各姿勢より前記基準座標系における各指標の初期配置を推定する指標配置推定ステップと、
前記推定された各指標の初期配置と前記検出された各指標の前記撮像画像上における配置との全体としての対応関係より、前記基準座標系の前記撮像装置に対する姿勢を推定する基準座標系推定ステップと、を備え、
前記指標配置推定ステップでは、前記推定された各姿勢に対応する平面射影変換を大きさ、位置及び向き並びに歪みに対応する各要素に分解し、1つの指標において前記推定された姿勢により表される平面上での当該１つの指標の前記既知である配置によって当該1つの指標の初期配置を定めると共に、当該1つの指標以外の各指標の初期配置を、当該1つの指標における位置及び向きの要素と当該各指標における大きさ及び歪みの要素との合成によって前記平面上に定め、
前記指標配置推定ステップでは前記各平面射影変換を、大きさ並びに位置及び向きに対応する相似変換と、歪みに対応するアフィン変換及び射影変換と、に分解することを特徴とする画像処理方法。 It is configured so that at least four points or line segments on the same plane can be specified , and there are a plurality of indexes whose arrangement as relative positional coordinate relationships of each of the at least four points or line segments is known. An image processing method for estimating a reference coordinate system in which a plurality of indices are installed from an imaged image captured by an imaging device that is installed on the same plane,
An index detection step of detecting an index from the captured image;
An index orientation estimation step for estimating the orientation of each detected index with respect to the imaging device as a relation of planar projective transformation;
An index placement estimation step of estimating an initial placement of each index in the reference coordinate system from the estimated postures;
A reference coordinate system estimation step for estimating a posture of the reference coordinate system with respect to the imaging device based on an overall correspondence relationship between the estimated initial arrangement of the indices and the arrangement of the detected indices on the captured image. And comprising
In the index placement estimation step, the planar projection transformation corresponding to each estimated posture is decomposed into elements corresponding to size, position, orientation, and distortion, and is represented by the estimated posture in one index. The initial arrangement of the one index is determined by the known arrangement of the one index on a plane, and the initial arrangement of each index other than the one index is determined by the position and orientation elements of the one index. Determined on the plane by combining with the size and distortion elements in each index,
The image processing method according to claim 1, wherein in the index arrangement estimating step, each planar projection transformation is decomposed into a similarity transformation corresponding to a size, a position, and an orientation, and an affine transformation and a projection transformation corresponding to a distortion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012174321A JP5988364B2 (en) | 2012-08-06 | 2012-08-06 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012174321A JP5988364B2 (en) | 2012-08-06 | 2012-08-06 | Image processing apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014032161A JP2014032161A (en) | 2014-02-20 |
| JP5988364B2 true JP5988364B2 (en) | 2016-09-07 |
Family
ID=50282074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012174321A Active JP5988364B2 (en) | 2012-08-06 | 2012-08-06 | Image processing apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5988364B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106595476A (en) * | 2016-11-09 | 2017-04-26 | 唐雪松 | Spare and accessory part detecting method and device based on AR technology |
| CN109579745A (en) * | 2018-11-26 | 2019-04-05 | 江苏科技大学 | Novel house Area computing method based on augmented reality and cell phone software |
| JP7139953B2 (en) * | 2019-01-08 | 2022-09-21 | オムロン株式会社 | Three-dimensional shape measuring device, three-dimensional shape measuring method and program |
| CN113063353B (en) * | 2021-03-31 | 2023-05-09 | 深圳中科飞测科技股份有限公司 | Coordinate system establishment method, detection device, detection equipment and storage medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4810403B2 (en) * | 2006-11-08 | 2011-11-09 | キヤノン株式会社 | Information processing apparatus and information processing method |
| JP2011118553A (en) * | 2009-12-01 | 2011-06-16 | Keyence Corp | Image processing apparatus, image processing method and computer program |
-
2012
- 2012-08-06 JP JP2012174321A patent/JP5988364B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014032161A (en) | 2014-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104160426B (en) | Image processing apparatus and image processing method | |
| JP4976756B2 (en) | Information processing method and apparatus | |
| US10147192B2 (en) | Coordinate-conversion-parameter determination apparatus, coordinate-conversion-parameter determination method, and non-transitory computer readable recording medium having therein program for coordinate-conversion-parameter determination | |
| US7529387B2 (en) | Placement information estimating method and information processing device | |
| JP6083747B2 (en) | Position and orientation detection system | |
| JP6008397B2 (en) | AR system using optical see-through HMD | |
| US20090153669A1 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| WO2006082825A1 (en) | Mark arrangement measuring method, positional posture estimating method, mark arrangement measuring apparatus and positional posture estimating apparatus | |
| JP2008070267A (en) | Method for measuring position and attitude, and device | |
| JP2017129567A (en) | Information processing apparatus, information processing method, and program | |
| JP5988364B2 (en) | Image processing apparatus and method | |
| JP5988368B2 (en) | Image processing apparatus and method | |
| CN115564842A (en) | Parameter calibration method, device, equipment and storage medium for binocular fisheye camera | |
| JP6017343B2 (en) | Database generation device, camera posture estimation device, database generation method, camera posture estimation method, and program | |
| AU2009248999B2 (en) | Stereoscopic measurement system and method | |
| EP3216005B1 (en) | Image processing device and method for geometric calibration of images | |
| JP2007048068A (en) | Information processing method and device | |
| JP5726024B2 (en) | Information processing method and apparatus | |
| JP6109213B2 (en) | Information processing apparatus and method, program | |
| JP6304815B2 (en) | Image processing apparatus and image feature detection method, program and apparatus thereof | |
| CN118119972A (en) | Method and system for generating a camera model for camera calibration | |
| CA2831664C (en) | Stereoscopic measurement system and method | |
| CN114511637A (en) | Weak-feature object image three-dimensional reconstruction system and method based on strong feature construction | |
| CN108573504A (en) | The 3D image generating methods and its system of phenotype for analyzing plant | |
| JP4810403B2 (en) | Information processing apparatus and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160804 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5988364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |