JP5002144B2 - Three-dimensional measurement for projection apparatus and system - Google Patents

Three-dimensional measurement for projection apparatus and system Download PDF

Info

Publication number
JP5002144B2
JP5002144B2 JP2005289333A JP2005289333A JP5002144B2 JP 5002144 B2 JP5002144 B2 JP 5002144B2 JP 2005289333 A JP2005289333 A JP 2005289333A JP 2005289333 A JP2005289333 A JP 2005289333A JP 5002144 B2 JP5002144 B2 JP 5002144B2
Authority
JP
Japan
Prior art keywords
pattern
color
measurement
projection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005289333A
Other languages
Japanese (ja)
Other versions
JP2007101276A5 (en
JP2007101276A (en
Inventor
光晴 山田
拓哉 森山
広登 渡辺
伸夫 高地
Original Assignee
株式会社トプコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トプコン filed Critical 株式会社トプコン
Priority to JP2005289333A priority Critical patent/JP5002144B2/en
Priority claimed from US11/526,885 external-priority patent/US20070091174A1/en
Publication of JP2007101276A publication Critical patent/JP2007101276A/en
Publication of JP2007101276A5 publication Critical patent/JP2007101276A5/ja
Application granted granted Critical
Publication of JP5002144B2 publication Critical patent/JP5002144B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、三次元計測用投影装置及び三次元計測システムに関する。 The present invention relates to three-dimensional measurement projection apparatus and three-dimensional measurement system. 詳しくは、三次元計測用ターゲットパターンを投影する投影装置及び投影されたパターンを含む撮影画像を用いて、広範囲な領域を自動的に計測可能な三次元計測システムに関する。 For details, by using the captured image including a projection device and projected pattern to project the three-dimensional measurement target pattern, to automatically measurable three-dimensional measuring system wide region.

従来は、非接触で三次元計測を行う場合、非接触三次元計測機と呼ばれるパターン投光機とCCDカメラが一体となった比較的大型な装置で小領域ごとに計測を行い、さらにその小領域ごとに貼り付けたそれぞれのターゲットを写真測量手法で計測し、その座標点からそれら小領域を統合して、広範囲な計測を行っていた。 Conventionally, when performing three-dimensional measurement in a non-contact, performs measurement for each small region with a relatively large-sized device pattern floodlight and CCD camera called non-contact three-dimensional measurement machine are integrated, further the small each target was affixed to each area is measured by photogrammetry techniques, from the coordinate point by integrating them small area has been performed extensive measurements.

また、デジタルカメラなどの画像だけで三次元計測する場合、ステレオペアの設定、2枚以上の画像の標定、および計測位置の設定をマニュアルもしくは半自動処理にて行っていた。 Also, when measuring only the three-dimensional image such as a digital camera, setting of a stereo pair, the orientation of the two or more images, and have made the settings of the measurement position in manual or semi-automatic processing. (特許文献1,2参照) (See Patent Documents 1 and 2)
特開2003−284098号公報(段落0018〜0073、図1〜図11) JP 2003-284098 JP (paragraphs 0018-0073, FIGS. 1 to 11) 特開2005−174151号公報(段落0021〜0087、図1〜図24) JP 2005-174151 JP (paragraphs 0021-0087, FIGS. 1 to 24)

広範な領域を計測するには、大型の非接触三次元測定器で多数箇所の小領域を計測し、さらに写真測量手法により、各小領域に貼られた画像接続用のターゲットをカメラで撮影し、各ターゲット点を高精度に三次元計測し、そのカメラ座標系と各三次元測定器で計測した小領域中のターゲットの三次元座標系(地球座標系等)を統合して広範な全体領域としていた。 To measure a wide area, it measures the small regions of many locations in a non-contact three-dimensional measuring device of a large, by further photogrammetric approach, taking the target for each small area pasted image connected with the camera , each target point is measured three-dimensionally with high precision, three-dimensional coordinate system the whole wide by integrating (global coordinate system or the like) region of the target small area in measured by the camera coordinate system and the three-dimensional measuring devices It was with.

しかしながら、この手法によれば、小領域と広範な領域の測定に別々の測定器を利用しなければならず、煩雑であり、また、三次元計測全体を通した自動化ができないという問題があった。 However, according to this technique, it is necessary to use a separate measuring device for the measurement of wide area and small area, is complicated, also, there is a problem that can not be automated through the entire three-dimensional measurement . 特に、高精度で広範囲にわたり多数の小領域を統合する場合は、各々の計測範囲が狭まるために結果として計測領域数が膨大になり、結果として煩雑で効率の悪い作業となっていた。 In particular, when integrating a large number of small regions extensively with high accuracy, the number of the measurement region as a result for each measurement range is narrowed becomes huge, it has been a troublesome and inefficient work as a result. 例えば、車の側面を計測するだけでも小領域数は100カット以上となっていた。 For example, the small number of areas just to measure the side of the car had become 100 cut above. このように、個々の作業は簡単でも全体としては手間がかかり、非効率な作業となっていたという問題があった。 Thus, as a whole the individual work with easy time-consuming, there is a problem that has become inefficient work.

本発明は、ターゲットパターンを投影する投影装置を活用して、広域の非接触三次元測定を効率化すること、自動化を促進することを目的とする。 The present invention exploits the projection device for projecting a target pattern, improved efficiency of non-contact three-dimensional measurement of a wide area, and an object thereof is to facilitate automation.

上記課題を解決するために、 本発明の第1の態様に係る三次元計測用投影装置80は、例えば図1に示すように、計測位置を示すための位置検出用パターンP1と、位置検出用パターンP1に対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンP3とを有するカラーコード付き標識CTを含む計測パターンPを形成するパターン形成部492と、パターン形成部492で形成された計測パターンを測定対象物に投影する投影部12と、投影部12により投影された計測パターンの撮影画像から位置検出用パターンP1とカラーコードパターンP3を検出し、カラーコードを識別するパターン検出部491とを備える。 In order to solve the above problems, three-dimensional measurement projection apparatus 80 according to the first aspect of the present invention, for example, as shown in FIG. 1, a position detecting pattern P1 for indicating a measurement position, the position detection are arranged in a predetermined positional relationship with respect to the pattern P1, the pattern forming section 492 for forming a measurement pattern P including the color-coded target CT and a color code pattern P3 having a plurality of colors is performed to identify the labeled When, a projection unit 12 for projecting a measurement pattern formed by the pattern forming section 492 to the measurement object, detecting the position detection pattern P1 and the color code pattern P3 from the captured image of the projected measurement pattern by the projection portion 12 , and a pattern detection unit 491 identifies the color code.

ここにおいて、計測パターンには標定パターンが含まれるものとする。 Here, the measurement pattern shall include orientation pattern. また、三次元計測は絶対座標で行われても、相対座標で行われても良い。 Also, three-dimensional measurement can be performed in absolute coordinates may be carried out in relative coordinates. 位置検出用パターンには、典型的にはレトロターゲットやテンプレートパターンがあるが、これに限られず、格子パターンやドットパターンでも位置を特定できるものであれば良い。 The position detection pattern, but typically there is a retro-target and the template pattern is not limited thereto, as long as the position can be identified even in a grid pattern or a dot pattern. また、カラーコードパターンには、典型的には矩形の単位領域を複数隣接したパターンが使用されるが、これに限られず、複数のレトロターゲットに彩色したものを用いても良い。 In addition, the color code pattern, typically has a pattern in which a plurality adjacent rectangular unit area is used, not limited to this and may also be used those colored in a plurality of retro-targets. また、単位領域は1つで彩色が異なるものを用いても良い。 Also, the unit region may be used as the coloring in one different. また、パターン投影制御部、パターン検出部、パターン形成部は典型的にはパーソナルコンピュータ内に実現され、投影部と物理的に分離構成されても良い。 The pattern projection control unit, the pattern detecting unit, the pattern forming unit is typically implemented in a personal computer, it may be physically separated configurations and projection unit.
このように構成すると、各カラーコード付き標識を識別できるので、ステレオ画像の対応点探索、隣接画像の接続、ステレオマッチング領域の設定が容易になり、自動化も可能となる。 According to this structure, it is possible to identify the labeled respective color codes, corresponding point search of stereo images, the connection of the adjacent image, simplifies the configuration of the stereo matching area, it becomes possible to automate. また、これにより標定や三次元計測を効率化でき、自動化を促進できる。 This also can streamline the orientation and three-dimensional measurement can facilitate the automation.

また、 本発明の第2の態様に係る三次元計測用投影装置は、例えば図25に示すように、計測位置を示すための位置検出用パターンP1と、位置検出用パターンP1に対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンP3とを有するカラーコード付き標識CTを含む計測パターンPを複数記憶するパターン記憶部495と、パターン記憶部495に記憶された複数の計測パターンから、投影する計測パターンを選択するパターン選択部496と、パターン選択部496により選択された計測パターンを測定対象物に投影する投影部12と、投影部12により投影された計測パターンの撮影画像から位置検出用パターンP1とカラーコードパターンP3を検出し、カラーコードを識別するパ Also, three-dimensional measurement projection apparatus according to a second aspect of the present invention, for example, as shown in FIG. 25, a position detecting pattern P1 for indicating a measurement position, the predetermined relative position detecting pattern P1 is disposed in a positional relationship, a plurality of pattern storage unit 495 stores a plurality of measurement patterns P including the color-coded target CT and a color code pattern P3 of the color is applied to identify the label pattern storage unit 495 a plurality of measurement patterns stored in the projection pattern selection unit 496 that selects the measurement pattern to be projected, a projection unit 12 for projecting a measurement pattern selected by the pattern selection unit 496 to the measuring object, by the projection part 12 It has been detected a shooting position detection pattern from the image P1 and the color code pattern P3 of the measurement pattern, path identifying the color code ーン検出部491とを備える。 And a chromatography emission detector 491.

ここにおいて、パターン選択部は典型的にはパーソナルコンピュータ内に実現され、パターン記憶部はパーソナルコンピュータ内又は外付けの記憶装置内に実現されるので、これらは投影部と物理的に分離構成されても良い。 Here, the pattern selector typically implemented in a personal computer, since the pattern storage unit is implemented in a storage device in the personal computer or external, it is physically separate structure and projection unit it may be. このように構成すると、各カラーコード付き標識を識別できるので、ステレオ画像の対応点探索、隣接画像の接続、ステレオマッチング領域の設定が容易になり、自動化も可能となる。 According to this structure, it is possible to identify the labeled respective color codes, corresponding point search of stereo images, the connection of the adjacent image, simplifies the configuration of the stereo matching area, it becomes possible to automate. また、これにより標定や三次元計測を効率化でき、自動化を促進できる。 This also can streamline the orientation and three-dimensional measurement can facilitate the automation.

また、 本発明の第3の態様は、第1又は第2の態様に係る三次元計測用投影装置において、例えば図1に示すように、投影部12により投影された計測パターンを撮影する撮像部10を備え、パターン検出部491は、撮像部10により撮影された計測パターンの撮影画像から位置検出用パターンP1とカラーコードパターンP3を検出し、カラーコードを識別する。 The third aspect of the present invention, in the three-dimensional measurement projection apparatus according to the first or second aspect, for example, as shown in FIG. 1, an imaging unit for photographing the projected measurement pattern by the projection portion 12 with 10, the pattern detection unit 491 detects the position detection pattern P1 and the color code pattern P3 from the captured image of the measurement pattern taken by the imaging unit 10 identifies a color code.

また、 本発明の第4の態様に係る三次元計測用投影装置は、 第1又は第3の態様に係る三次元計測用投影装置において、パターン形成部492は、位置検出用パターンのみからなる単色ターゲットパターンを形成する。 Also, three-dimensional measurement projection apparatus according to a fourth aspect of the present invention, in the three-dimensional measurement projection apparatus according to the first or third aspect, a pattern forming section 492, monochrome consisting only pattern for position detection to form a target pattern. このように構成すると、例えばカラーコードパターンを基準点測定に、単色ターゲットパターンを精密測定に使い分けるなどにより、計測を効率化できる。 According to this structure, for example, the color code pattern to the reference point measurement, such as by selectively using a monochromatic target pattern in precise measurement, it efficient measurement.

また、 本発明の第5の態様に係る三次元計測用投影装置は、 第2又は第3のいずれかの態様に係る三次元計測用投影装置において、パターン記憶部495は、位置検出用パターンのみからなる単色ターゲットパターンを記憶する。 The fifth three-dimensional measuring projection apparatus according to an aspect of the present invention, in the three-dimensional measurement projection apparatus according to the second or third one aspect, the pattern storage unit 495, only the pattern for position detection storing monochromatic target pattern consisting of. このように構成すると、例えばカラーコードパターンを基準点測定に、単色ターゲットパターンを精密測定に使い分けるなどにより、計測を効率化できる。 According to this structure, for example, the color code pattern to the reference point measurement, such as by selectively using a monochromatic target pattern in precise measurement, it efficient measurement.

また、 本発明の第6の態様に係る三次元計測用投影装置は、 第1乃至第5のいずれかの態様に係る三次元計測用投影装置において、投影部12を制御して計測パターンを投影させるパターン投影制御部493を備え、パターン投影制御部493は位置検出用パターンをランダムに配置したランダムパターンを投影部12に投影させ、計測パターンを投影する計測モードとランダムパターンを投影するランダムパターンモードを切替可能である。 Also, three-dimensional measurement projection apparatus according to a sixth aspect of the present invention, in the three-dimensional measurement projection apparatus according to the first to fifth any aspect of the projected measurement pattern by controlling the projecting portion 12 random pattern mode includes a pattern projection control section 493 to pattern the projection control unit 493 is projecting a random pattern of arranging the position detection pattern randomly projection portion 12, which projects a measurement mode and a random pattern to project the measurement pattern which is a possible switch. このように構成すると、例えば標定と三次元計測とを容易に切り替えできる。 According to this structure, for example it can be easily switched between orientation and three-dimensional measurement.

また、 本発明の第7の態様に係る三次元計測用投影装置は、 第1乃至第5のいずれかの態様に係る三次元計測システム100において、投影部12を制御して計測パターンを投影させるパターン投影制御部493を備え、パターン投影制御部493はステレオ画像の重複範囲を表示する重複撮影範囲表示用パターンを投影部12に投影させ、計測パターンを投影する計測モードと重複撮影範囲表示用パターンを投影する撮影範囲表示モードを切替可能である。 The seventh three-dimensional measuring projection apparatus according to an aspect of the present invention, in the three-dimensional measurement system 100 according to the first to fifth any aspect of the, projecting the measurement pattern by controlling the projecting portion 12 includes a pattern projection control unit 493, the pattern projection control unit 493 is projected overlapping photographic range display pattern for displaying the overlapping range of the stereo image to the projection unit 12, the measurement mode and the overlap photographing range display pattern to project the measurement pattern it is possible to switch the shooting range display mode for projecting a. このように構成すると、例えば標定と撮像範囲の設定とを容易に切り替えできる。 According to this structure, for example it can be easily switched between settings of orientation and imaging range.

また、 本発明の第8の態様は、第1乃至第5のいずれかの態様に係る三次元計測用投影装置において、投影部12を制御して計測パターンを投影させるパターン投影制御部493を備え、パターン投影制御部493は、撮像部10に係る焦点距離、撮影距離、基線長、オーバーラップ率のいずれか一つを入力することにより、計測パターンの計測点の配置、パターン密度を調整可能である。 Further, an eighth aspect of the present invention, in the three-dimensional measurement projection apparatus according to the first to fifth any aspect of, includes a pattern projection control unit 493 to project the measurement pattern by controlling the projecting portion 12 , pattern projection control unit 493, a focal length of the imaging unit 10, range, base length, by entering one of the overlapping rate, arrangement of measurement points of the measurement pattern, the pattern density can be adjusted is there. ここにおいて、計測点には標定点が含まれる。 Here, the measurement point includes orientation point. このように構成すると、撮像部の焦点距離等に合わせて適当な計測パターンを選択できる。 According to this structure, select an appropriate measurement pattern in accordance with the focal length of the imaging unit.

また、 本発明の第9の態様は、第1乃至第5のいずれかの態様に係る三次元計測用投影装置において、投影部12を制御して計測パターンを投影させるパターン投影制御部493を備え、パターン投影制御部493は、一様な照明光で対象物を照明するテクスチャー取得用の照明を投影部12に行なわせ、計測パターンを投影する計測モードとテクスチャー取得用の照明を行うテクスチャー照明モードを切替可能である。 Further, a ninth aspect of the present invention, in the three-dimensional measurement projection apparatus according to the first to fifth any aspect of, includes a pattern projection control unit 493 to project the measurement pattern by controlling the projecting portion 12 , pattern projection control unit 493, the illumination for the texture acquisition to illuminate the object with uniform illumination light to perform the projection part 12, the measurement mode and texture illumination mode for illuminating for texture acquisition projecting the measurement pattern which is a possible switch. このように構成すると、テクスチャー照明モードを用いて、測定対象物の三次元形状を概略把握できる。 According to this structure, by using a texture illumination mode, the three-dimensional shape of the measuring object can be schematically grasped.

また、 本発明の第10の態様は、第9の態様に係る三次元計測用投影装置において、パターン検出部491は、テクスチャー照明モードで投影されたパターンの撮影画像から取得された色彩に基づいて、投影部12により投影するカラーコード付きターゲットCTの色彩を修正する色彩修正部494を有する。 Further, a tenth aspect of the present invention, in the three-dimensional measurement projection apparatus according to a ninth aspect, the pattern detection unit 491, based on the color obtained from the captured image of the pattern projected by the texture illumination mode has a color correction section 494 for correcting the color of the color-coded targets CT for projecting the projection unit 12. このように構成すると、撮影画像の明暗に応じてカラーコード付きターゲットの色彩を修正でき、カラーコードの識別を容易にできる。 This configuration can modify the color of the color-coded target in accordance with the brightness of the photographed image can be identified easily color code.

また、 本発明の第11の態様に係る三次元計測システム100は、 第1乃至第10のいずれかの態様に係る三次元計測用投影装置を有する。 Also, three-dimensional measurement system 100 according to the eleventh aspect of the present invention has a three-dimensional measuring projection apparatus according to the first to tenth any aspect of. このように構成すると、カラーコード付きターゲットを投影して、ステレオ画像の対応点探索、隣接画像の接続、ステレオマッチング領域の設定が容易になり、自動化も可能となる。 According to this structure, by projecting the color-coded targets, corresponding point search of stereo images, the connection of the adjacent image, simplifies the configuration of the stereo matching area, it becomes possible to automate. また、これにより標定や三次元計測を効率化でき、自動化を促進できる。 This also can streamline the orientation and three-dimensional measurement can facilitate the automation.

また、 本発明の第12の態様に係る三次元計測用投影装置の計算処理部49は、計測位置を示すための位置検出用パターンP1と、位置検出用パターンP1に対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンP3とを有するカラーコード付き標識CTを含む計測パターンPを形成するパターン形成部492と、投影部12を制御して計測パターンを投影させるパターン投影制御部493と、投影部12により投影された計測パターンの撮影画像から位置検出用パターンP1とカラーコードパターンP3を検出し、カラーコードを識別するパターン検出部491とを備える。 The calculation processing unit 49 of the three-dimensional measurement projection apparatus according to a twelfth aspect of the present invention, a position detecting pattern P1 for indicating a measurement position, a predetermined positional relationship with respect to the position detecting pattern P1 are arranged, a pattern forming portion 492 for forming a measurement pattern P including the color-coded target CT having a plurality of color code pattern P3 of the color is performed to identify the labeled, measurement and controls the projection section 12 includes a pattern projection control section 493 for projecting a pattern, to detect the position detection pattern P1 and the color code pattern P3 from the captured image of the projected measurement pattern by the projection unit 12, and a pattern detection unit 491 identifies the color code . 請求項1の三次元計測用投影装置に対応する計算処理部の発明である。 An invention of calculation processing section corresponding to the three-dimensional measuring projection device according to claim 1.

また、 本発明の第13の態様に係る三次元計測用パターン投影方法は、例えば図24に示すように、計測位置を示すための位置検出用パターンP1と、位置検出用パターンP1に対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンP3とを有するカラーコード付き標識CTを含む計測パターンPを形成するパターン形成工程S810と、パターン形成工程で形成された計測パターンを測定対象物に投影する投影工程S840と、投影工程S840により投影された計測パターンを撮影する撮像工程S850と、撮像工程S850により撮影された計測パターンの撮影画像から位置検出用パターンP1とカラーコードパターンP3を検出し、カラーコードを識別するパターン検出工程860と Also, the 13 three-dimensional measurement pattern projection method according to the aspect of the present invention given, for example, as shown in FIG. 24, a position detecting pattern P1 for indicating a measurement position, with respect to the position detecting pattern P1 disposed positional relationship, the pattern forming step S810 for forming the measurement pattern P including the color-coded target CT and a color code pattern P3 having a plurality of colors is performed to identify the labeled, in the pattern forming step a projection step S840 projecting the formed measurement pattern to the measured object, an image pickup step S850 to photograph the projected measurement pattern by the projection step S840, the position detecting from the photographed image of the measurement pattern taken by the imaging step S850 finds the pattern P1 and the color code pattern P3, the pattern detection process 860 for identifying the color code 備える。 Provided.
このように構成すると、各カラーコード付き標識を識別できるので、ステレオ画像の対応点探索、隣接画像の接続、ステレオマッチング領域の設定が容易になり、自動化も可能となる。 According to this structure, it is possible to identify the labeled respective color codes, corresponding point search of stereo images, the connection of the adjacent image, simplifies the configuration of the stereo matching area, it becomes possible to automate. また、これにより標定や三次元計測を効率化でき、自動化を促進できる。 This also can streamline the orientation and three-dimensional measurement can facilitate the automation.

また、 本発明の第14の態様に係る三次元計測用パターン投影方法は、例えば図28に示すように、計測位置を示すための位置検出用パターンP1と、位置検出用パターンP1に対して所定の位置関係に配置され、標識を識別するための複数の色彩が施されたカラーコードパターンP3とを有するカラーコード付き標識CTを含む計測パターンPを複数記憶するパターン記憶工程S820と、パターン記憶工程S820で記憶された複数の計測パターンPから、投影する計測パターンを選択するパターン選択工程S830と、パターン選択工程S830で選択された計測パターンを測定対象物に投影する投影工程S840と、投影工程S840により投影された計測パターンを撮影する撮像工程S850と、撮像工程S850により撮影され Also, the 14 three-dimensional measurement pattern projection method according to the aspect of the present invention given, for example, as shown in FIG. 28, a position detecting pattern P1 for indicating a measurement position, with respect to the position detecting pattern P1 disposed positional relationship, and the pattern storing step S820 for storing a plurality measurement pattern P including the color-coded target CT and a color code pattern P3 having a plurality of colors is performed to identify the label pattern storing step a plurality of measurement patterns P stored in S820, the pattern selection step S830 to select the measurement pattern to be projected, a projection step S840 to project the measurement pattern selected by the pattern selection step S830 to the measurement object, the projection step S840 an imaging step S850 to photograph the projected measurement pattern by, shot by the image pickup step S850 計測パターンの撮影画像から位置検出用パターンP1とカラーコードパターンP3を検出し、カラーコードを識別するパターン検出工程S860とを備える。 Detecting the imaging position detection pattern from the image P1 and the color code pattern P3 of the measurement pattern, and a identifying pattern detection step S860 the color code.
このように構成すると、各カラーコード付き標識を識別できるので、ステレオ画像の対応点探索、隣接画像の接続、ステレオマッチング領域の設定が容易になり、自動化も可能となる。 According to this structure, it is possible to identify the labeled respective color codes, corresponding point search of stereo images, the connection of the adjacent image, simplifies the configuration of the stereo matching area, it becomes possible to automate. また、これにより標定や三次元計測を効率化でき、自動化を促進できる。 This also can streamline the orientation and three-dimensional measurement can facilitate the automation.

また、 本発明の第15の態様に係る発明は、 第13の態様に係る三次元計測用パターン投影方法において、パターン形成工程S810は、位置検出用パターンのみからなる単色ターゲットパターンを形成し、パターン検出工程S860は単色ターゲットパターンを検出する。 The invention according to a fifteenth aspect of the present invention, in the thirteenth dimensional measurement pattern projection method according to the embodiment of the pattern forming step S810 is to form a single color target pattern composed of only the pattern for position detection pattern detection step S860 detects a monochromatic target pattern. このように構成すると、例えばカラーコードパターンを基準点測定に、単色ターゲットパターンを精密測定に使い分けるなどにより、計測を効率化できる。 According to this structure, for example, the color code pattern to the reference point measurement, such as by selectively using a monochromatic target pattern in precise measurement, it efficient measurement.

また、 本発明の第16の態様に係る発明は、 第14の態様に係る三次元計測用パターン投影方法において、パターン記憶工程S820は、位置検出用パターンのみからなる単色ターゲットパターンを記憶し、パターン検出工程S860は単色ターゲットパターンを検出する。 The invention according to a sixteenth aspect of the present invention, in the three-dimensional measurement pattern projection method according to the fourteenth aspect, the pattern storing step S820 stores the monochromatic target pattern composed of only the pattern for position detection pattern detection step S860 detects a monochromatic target pattern. このように構成すると、例えばカラーコードパターンを基準点測定に、単色ターゲットパターンを精密測定に使い分けるなどにより、計測を効率化できる。 According to this structure, for example, the color code pattern to the reference point measurement, such as by selectively using a monochromatic target pattern in precise measurement, it efficient measurement.

また、 本発明の第17の態様に係る発明は、 第15又は第16の態様に係る三次元計測用投影方法において、撮像工程S850において、撮影画像は対をなすステレオ画像であり、ステレオ画像について標定を行なう標定工程S30と、測定対象物の三次元形状を計測する三次元計測工程S50とを備え、標定工程S30又は三次元計測工程S50において、カラーコード付き標識CTは計測用の基準位置を示す計測点として、単色ターゲットパターンはリファレンスポイントとして投影される。 The invention according to a seventeenth aspect of the present invention, in the three-dimensional measuring projection method according to the fifteenth or sixteenth aspect, in the imaging step S850, the captured image is a stereo image pairs for stereo images the orientation step S30 to perform the orientation, comprising a three-dimensional and measurement step S50 of measuring the three-dimensional shape of the measurement object, in the orientation step S30 or three-dimensional measurement step S50, the color-coded target CT reference position for measurement as the measurement points shown, single color target pattern is projected as a reference point. ここにおいて、計測用の基準位置を示す計測点には、ターゲットパターンを投影してそのまま撮影に使用しても良く、また、ターゲットパターンを貼り付けて撮影に使用しても良い。 Here, the measurement point indicating a reference position for measurement, may be used as it is captured by projecting a target pattern, it may also be used to take Paste target pattern. このように構成すると、計測を効率化できる。 According to this structure, efficient measurement.

本発明によれば、ターゲットパターンを投影する投影装置を活用して、広域の非接触三次元測定を効率化し、自動化を促進することができる。 According to the present invention, by utilizing a projection device for projecting a target pattern can streamline non-contact three-dimensional measurement of a wide area, promoting automation.

[第1の実施の形態] First Embodiment
以下に、図面に基づき本発明の第1の実施の形態について説明する。 Hereinafter, a description will be given of a first embodiment of the present invention based on the drawings. 本実施の形態は、計測前準備としての計測パターン(標定パターンを含む)の投影を活用し、標定又は三次元計測に用いる計測パターンを再構成する例、また、計測パターンを構成するターゲット(標識)としてカラーコード付きターゲットを用いる例を示す。 This embodiment leverages projected measurement pattern in preparation measures (including the orientation pattern) Example reconstruct the measurement pattern used in orientation or three-dimensional measurement also, the target constituting the measurement pattern (labeled ) shows an example of using a color-coded target as.

[投影装置の構成] Configuration of the projection apparatus]
図1に本実施の形態による投影装置80の基本構成例のブロック図を示す。 It shows a block diagram of a basic configuration example of a projection apparatus 80 according to this embodiment in FIG. 図1において、12は計測パターン等の各種投影パターンを投影する投影部としてのプロジェクター、10は投影されたパターンを撮影する撮像部としてのステレオカメラ、49は計算処理部であり、撮像部10で撮影した撮影画像から測定対象物1の特徴点、計測点、標識(ターゲット)などを検出するパターン検出部491、各種投影パターンやこれらの投影パターンに用いるカラーコード付きターゲットCT、リファレンスポイントRF等のパターン要素を形成するパターン形成部492、パターン形成部492で形成された投影パターンを投影部12に投影させるパターン投影制御部493を有する。 1, 12 is a projector as a projection unit for projecting various projection patterns such as measurement pattern, the stereo camera as an imaging unit for photographing the projected pattern 10, 49 is a calculation processing unit, the imaging unit 10 captured feature points from the captured image measuring object 1, the measuring point, labeled (target) pattern detection unit 491 for detecting the like, various projection pattern and color-coded targets CT for use in these projection patterns, reference points RF, etc. with patterned unit 492, the pattern projection control section 493 for projecting the projection patterns formed by the pattern forming section 492 to the projection portion 12 forming a pattern element. また、投影パターンの色彩を修正する色彩修正部494を有する。 Further, a color correction unit 494 for correcting the color of the projected pattern. 色彩修正部494は、例えば、テクスチャー照明モードで得られた撮影画像の彩色に基づいて投影パターン内のカラーコード付きターゲットCTの彩色を修正する。 Color correction unit 494, for example, to modify the color of the color-coded targets CT in the projection pattern based on the color of the captured image obtained by the texture illumination mode.

投影パターンには、計測パターン、標定パターン、ランダムパターン、計測準備用パターン、重複撮影範囲表示用パターン、テクスチャー用照明パターン等の各種パターンがある。 The projection pattern, measurement pattern, orientation pattern, a random pattern, measurement preparation pattern overlapping imaging range display pattern, there are various patterns such as texture for illumination pattern. 計測パターンPは三次元計測に用いられる計測点Q(位置検出用パターン等)を表示するもので、測定対象物に投影された計測点Qが三次元形状の計測点として使用される。 Measurement pattern P is used for displaying the measurement points used in the three-dimensional measurement Q (position detection pattern and the like), the projected measuring point Q to the measured object is used as a measurement point of a three-dimensional shape. 標定パターンは標定に用いられる標定点を表示するもので、測定対象物に投影された標定点がステレオ撮影され、標定に使用される。 Orientation pattern used for displaying the orientation points used for orientation, orientation points projected on the measurement object is a stereo imaging is used orientation. ところで計測パターンと標定パターンを比較すると、通常は計測点数が標定点数に比して多いのであるが、その他に明確な区別がなく、通常は三次元計測に用いられる時は計測パターンといい、標定に用いられる時は標定パターンという。 Incidentally Comparing measurement patterns with orientation pattern, normally the measurement points is the greater than the orientation points, Other no clear distinction, when normally used in three-dimensional measurement is called a measurement pattern, orientation that the orientation pattern when used to.

ランダムパターンは計測点をランダムに配置した計測パターンの一種である。 Random pattern is a kind of measurement pattern arranged measurement points at random. 計測準備用パターンは標定や三次元計測の予備測定に用いられるパターンで、例えば図16のような格子パターンや多数の小円をアレイ状に配置したパターンが使用され、それぞれ、格子の交差点や円形小点の重心点が計測点、標定点として使用される。 Measurement preparation pattern is a pattern used for the preliminary measurement of the orientation and three-dimensional measurement, for example, be a grid pattern or a number of patterns of small circles arranged in an array is used as shown in FIG. 16, each lattice intersection or circular the center of gravity of the small dot measurement points, are used as orientation points. しかし、これらに限られるものではなく、通常の標定パターンや計測パターンも計測準備用パターンとして使用可能である。 However, it is not limited thereto and normal orientation pattern or the measurement pattern also can be used as a measurement preparation pattern. 本実施の形態では、計測パターン、標定パターン、ランダムパターン、計測準備用パターンは計測パターンに含まれるものとし、標定点は計測点に含まれるものとする。 In this embodiment, the measurement pattern, orientation pattern, a random pattern, measurement preparation pattern is assumed to be included in the measurement pattern, orientation point is assumed to be included in the measurement point.

重複撮影範囲表示用パターンはステレオ画像の重複範囲を表示するもので、例えば図7(a)に示すようにカラーコード付きターゲットCTを四隅に配置し、左右2枚のステレオ画像がこれら四隅のカラーコード付きターゲットを含むようにオーバーラップ部を定め、これを表示するものである。 Duplicate photographic range display pattern is used for displaying the overlapping range of the stereo image, for example, FIG. 7 is disposed at the four corners of the target CT color-coded (a), the two left and right stereo image of the four corners Color define the overlap portion to include a coded targets, thereby displaying it. テクスチャー用照明パターンは、有形のパターンを用いず、一様な照明光で対象物を照明するテクスチャー取得用の照明を行なうパターンである。 Texture lighting pattern is not used tangible pattern is a pattern that performs the illumination for the texture acquisition to illuminate the object with uniform illumination light.

[システム構成] [System configuration]
図2に本実施の形態における三次元計測システム100の全体構成例のブロック図を示す。 Figure 2 shows a block diagram of the overall configuration example of a three-dimensional measuring system 100 of the present embodiment. 三次元計測装置100は、撮像部10、投影部12、撮影画像データ記憶部13、対応部40、計算処理部49、表示画像形成部50、表示装置60を備える。 Three-dimensional measuring apparatus 100 includes the imaging unit 10, the projection portion 12, the captured image data storage unit 13, corresponding portions 40, the computing unit 49, display image forming unit 50, a display device 60. このうち、撮影画像データ記憶部13、対応部40、計算処理部49、表示画像形成部50は例えばコンピュータで構成されている。 Of these, the photographed image data storage section 13, correspondence unit 40, the computing unit 49, display image forming unit 50 is constituted by, for example, a computer. 測定対象物1は、施工対象物・製作対象物となる有体物で、例えば建築物、工場等の各種工作物や人物・風景等が該当する。 The object to be measured 1 is a tangible object to be execution object and manufactured objects, for example buildings, various workpiece and people, landscape, etc. of the factory or the like.

投影部12は測定対象物1に各種パターンを投影する。 Projection unit 12 projects the various patterns to the measurement object 1. 撮像部10は、測定対象物1の撮影画像(典型的にはステレオ画像であるが、単写真画像をペアで用いても良い)を取得するもので、例えば測量用のステレオカメラ又は汎用のデジタルカメラと、これらのカメラで撮影された測定対象物1の画像に対してレンズ収差の補償を行なう装置を組合せた機器が用いられる。 Imaging unit 10 (is typically a stereo image, a single image may be used in pairs) photographed image of the measuring object 1 intended for acquiring, for example, a stereo camera or general-purpose digital surveying a camera, equipment that combines a device for compensating for lens aberrations for these camera captured the measuring object 1 in the image is used. 撮影画像データ記憶部13は、測定対象物1の撮影画像を記憶するもので、例えば撮像部10で撮影された測定対象物1のステレオ画像を記憶する。 Photographed image data storing section 13 is for storing the photographed image of the measuring object 1, for example, it stores the stereo image of the measuring object 1 photographed by the imaging unit 10.

対応部40は、測定対象物1に係る一対の撮影画像又はモデル画像を対応付けて標定やステレオマッチングを行なうもので、測定対象物1の画像がステレオ画像の場合には、カラーコード付き標識の抽出、基準点設定、対応点探索の後に、標定処理を行う。 Corresponding section 40, in which in association with the pair of photographed image or model image according to the measured object 1 performs orientation and stereo matching, if the image of the measuring object 1 is stereo image, color-coded labels extraction, reference point setting, after the corresponding point search, performs orienting process. また、三次元計測に際しステレオマッチングを行なう。 Also performs stereo matching upon three-dimensional measurement. 抽出部41、基準点設定部42、対応点探索部43、標定部44、対応点指示部45、識別コード判別部46、パターン情報記憶部47、撮影・モデル画像表示部48、モデル画像形成部48A、モデル画像記憶部48B、計算処理部49を有している。 Extractor 41, a reference point setting unit 42, the corresponding point searching unit 43, orientation section 44, the corresponding point indicating section 45, the identification code discrimination section 46, the pattern data storage unit 47, captured model image display section 48, the model image forming section 48A, and has the model image storage section 48B, the calculation processing unit 49. このうち、抽出部41、識別コード判別部46、パターン情報記憶部47は計算処理部49のパターン検出部491としても機能する。 Of these, the extraction unit 41, the identification code discrimination section 46, the pattern data storage unit 47 also functions as a pattern detecting unit 491 of the calculation processing unit 49. また、マッチング処理部70は、ステレオマッチングの主機能を担う部分で、基準点設定部42、対応点探索部43、対応点指示部45を有する。 Further, the matching processing section 70 includes, in part responsible for the main function of the stereo matching, the reference point setting unit 42, the corresponding point searching unit 43, the corresponding point indicating section 45.

基準点設定部42は、ステレオ画像の一方の画像(基準画像)上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する。 Reference point setting unit 42, a near one of the images (reference image) that is specified on the stereo image, and searches for a matching point in the feature point, the reference point compatible points on the feature point set to. 特徴点には、例えば測定対象物1の中心位置、重心位置、コーナー位置、測定対象物1に貼付された又は投影された標識(ターゲット)などがある。 The feature points, for example, the center position of the measuring object 1, the center of gravity position, the corner position, and the like are affixed to or projected onto the measuring object 1 label (target). 対応点探索部43は、ステレオ画像の他方の画像(探索画像)上における、基準点設定部42により設定された基準点と対応する対応点を定める。 Corresponding point search section 43, defines on the other image of the stereo image (search image), the corresponding point corresponding to the reference point set by the reference point setting unit 42. 操作者が対応点指示部45によって特徴点近傍に指示点を指示すると、操作者が厳格に特徴点を指示しなくても、基準点設定部42によって操作者が基準画像で本来意図した特徴点に引き込まれると共に、対応点探索部43によって探索画像の対応点が定められる。 When the operator instructs the designated point in the vicinity of the feature point by the corresponding point designating section 45, without instructing strictly feature point operator, the feature point the operator by the reference point setting unit 42 is originally intended by the reference image together drawn into, the corresponding point of the search image by the corresponding point searching unit 43 is determined.

標定部44は、基準点設定部42により設定された基準点と対応点探索部43により求められた対応点を用いて、ステレオ画像などの一対の画像の対応点関係を求め、標定計算処理を行う。 Orientation section 44, using the corresponding point obtained by the corresponding point searching unit 43 and the reference point set by the reference point setting unit 42 obtains the corresponding point relation of the pair of images, such as a stereo image, the orientation calculation process do. 対応点指示部45は、操作者が基準画像の特徴点近傍以外の点を指定した場合に、探索画像上での対応点を定める。 Corresponding point indicating section 45, when the operator specifies a point other than near the feature points of the reference image, determining a corresponding point on the search image. 操作者は、表示装置60に表示される基準画像上の指示点と、対応点指示部45によって定められる探索画像上での対応点の表示位置とを対比して、測定対象物1の特徴点の対応関係を容易に認識できる。 The operator, the designated point on the reference image displayed on the display device 60, by comparing the display position of the corresponding point on the search image defined by the corresponding point designating section 45, feature points of the measuring object 1 It can recognize the correspondence between easily. また、対応点指示部45による位置対応を用いて、標定部44による相互標定が行なわれる。 Further, using a position corresponding with the corresponding point indicating section 45, the relative orientation is carried out by the orientation section 44.

計算処理部49は撮像部10から画像データを受け取って各種パターンを検出し、また、各種パターンを発生させ、投影部12から投影させる。 Calculation processing unit 49 detects the various patterns receives image data from the imaging unit 10, also to generate various patterns, to be projected from the projection unit 12. パターン検出部491は各種パターンを検出するが、このうち、抽出部41、識別コード判別部46の機能については後に図4で説明する。 Although the pattern detector 491 detects various patterns, of which the extraction unit 41 will be described in FIG. 4 later the function of the identification code discrimination section 46. パターン情報記憶部47は抽出部41、識別コード判別部46で検出、判別されたカラーコード付きターゲットの位置座標、カラーコード、リファレンスポイントの位置座標などのパターン情報を記憶する。 Pattern information storing unit 47 extracting unit 41, detected by the identification code discrimination section 46, determined position coordinates of the color-coded target, a color code, and stores the pattern information such as the position coordinates of the reference points. なお、抽出された撮影画像の色彩補正は抽出部41内の色彩補正部312が行ない、形成または選択された投影パターンの色彩修正は計算処理部49の色彩修正部494が行う。 Incidentally, the color correction of the extracted photographed image performs the color correction unit 312 in the extraction unit 41, color correction of forming or selected projected pattern color correction unit 494 of the calculation processing unit 49 performs.

モデル画像形成部48Aは、標定部44によって標定計算処理されたパラメータ(撮影したカメラの位置、傾き)から、モデル画像を形成する。 Model image forming section 48A is orientation calculation process parameters (position of the captured camera, inclination) by the orientation section 44, it forms a model image. ここで、モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像(ステレオ画像)の対応点を同一エピポーララインEP上に再配置し(図10(b)参照)、立体視可能な画像に再配置したものである。 Here, the model image, known as rectified image, relocate the corresponding points of the pair is a lateral image of the captured image (stereo image) on the same epipolar line EP (see FIG. 10 (b)), solid in which it was rearranged possible visual images. モデル画像記憶部48Bは、モデル画像形成部48Aで形成された測定対象物1のモデル画像を記憶する。 Model image storage section 48B stores the model image of the measuring object 1 formed by the model image forming section 48A. 撮影・モデル画像表示部48は、対応部40で行う抽出、基準点設定、対応点探索、ステレオマッチング等の処理において、撮影画像又はモデル画像形成部48Aにより形成されたモデル画像を一対の画像として表示装置60に表示する。 Photographing and model image display section 48, extraction performed by the corresponding unit 40, a reference point setting, corresponding point search, in the process of stereo matching, etc., the model image formed by the photographing image or model image forming section 48A as a pair of image displayed on the display device 60.

表示画像形成部50は、測定対象物1の三次元座標データ及び測定対象物1の撮影画像又はモデル画像に基づき、任意の方向からの測定対象物1の立体的二次元画像を作成し、表示するもので、三次元座標データ演算部51で測定対象物1に関する三次元計測位置座標を演算により求め、その結果を三次元座標データ記憶部53に記憶する。 Display image forming unit 50, based on the three-dimensional coordinate data and the photographed image or model image of the measuring object 1 of the measuring object 1, to create a stereoscopic two-dimensional image of the measuring object 1 from an arbitrary direction, the display It intended to, obtained by calculation a three-dimensional measurement position coordinates for the measuring object 1 in a three-dimensional coordinate data calculation section 51, and stores the result in the three-dimensional coordinate data storage section 53. 立体的二次元画像形成部54は、求められた三次元座標データに基づいて立体的二次元画像を作成し、その結果を立体的二次元画像記憶部55に記憶する。 Stereoscopic two-dimensional image forming unit 54, based on the three-dimensional coordinate data obtained creates a stereoscopic two-dimensional image, and stores the result in stereoscopic two-dimensional image storage unit 55. 立体的二次元画像表示部57は立体的二次元画像記憶部55に記憶された情報を基に任意の方向から見た立体的二次元画像を表示装置60に表示する。 Stereoscopic two-dimensional image display unit 57 displays the stereoscopic two-dimensional image viewed from an arbitrary direction based on information stored in the stereoscopic two-dimensional image storage unit 55 to the display device 60.

[カラーコード付きターゲット] [Color-coded target]
図3にカラーコード付きターゲットの例を示す。 Figure 3 shows an example of color-coded targets. 図3(a)はカラーコードの単位領域が3個、図3(b)は6個、図3(c)は9個のカラーコード付きターゲットである。 3 (a) is 3 the unit area of ​​the color code, FIG. 3 (b) 6, FIG. 3 (c) is a nine color-coded target of. 図3(a)〜(c)のカラーコード付きターゲットCT(CT1〜CT3)は、位置検出用パターン(レトロターゲット部)P1、基準色パターン(基準色部)P2、カラーコードパターン(カラーコード部)P3、空パターン(白色部)P4で構成されている。 Figure 3 (a) ~ color-coded targets CT (CT1 to CT3) of (c), the position detection patterns (retro-target section) P1, reference color pattern (reference color section) P2, color code pattern (color code section ) P3, which consists of an empty pattern (white part) P4. これら、位置検出用パターンP1、基準色パターンP2、カラーコードパターンP3、空パターンP4はカラーコード付きターゲットCT1内の所定の位置に配置される。 These position detecting pattern P1, reference color pattern P2, color code pattern P3, sky pattern P4 is disposed at a predetermined position in the color-coded target CT1. すなわち、基準色パターンP2、カラーコードパターンP3、空パターンP4は位置検出用パターンP1に対して所定の位置関係に配置される。 That is, the reference color pattern P2, color code pattern P3, sky pattern P4 are disposed in a predetermined positional relationship with respect to the position detecting pattern P1.

レトロターゲット部P1は、ターゲット自体の検出用、その重心検出用、ターゲットの方向(傾斜の程度を表す)検出用、ターゲット領域検出用として使用される。 Retro-target section P1 is for the detection of the target itself, for the center of gravity detected (indicating the degree of inclination) target direction detection, is used for the detection target area.

基準色部P2は、照明やカメラ等の撮影条件による色のズレに対応するために、相対比較時の参照用、色ズレを補正するためのカラーキャリブレーション用として使用する。 Reference color section P2, in order to correspond to the color deviation due to photographing conditions of lighting and camera, etc., relative comparison when the reference is used for color calibration for correcting color shift. さらに、基準色部P2は、簡易な方法で作成されたカラーコード付きターゲットCTの色彩補正用として使用できる。 Furthermore, reference color section P2 may be used for color correction of the color-coded targets CT created by a simple method. 例えば、色管理がなされていないカラーブリンター(インクジェット・レーザー・昇華型等のプリンタ)で印刷したカラーコード付きターゲットCTを使用する場合は、使用プリンタ等で色彩に個体差が出るが、基準色部P2とカラーコード部P3の色を相対比較し補正することで、個体差の影響を押さえることができる。 For example, when using the color-coded targets CT printed with (printer inkjet laser sublimation type) color Bryn terpolymers of color management is not performed, but an individual difference may appear in color by using a printer or the like, a reference color color parts P2 and the color code section P3 by a relative comparison correction, can be suppressed the influence of individual differences.

カラーコード部P3は、その各単位領域への配色の組み合わせによってコードを表現する。 Color code section P3 expresses the code by the combination of the color scheme for each unit area. コードに使用するコード色の数により表現可能なコード数が変化する。 Code number that can be represented by the number of code colors used to code changes. 例えば、コード色数がnの場合、図3(a)のカラーコード付きターゲットCT1では、カラーコード部P3の単位領域が3個のため、n×n×n通りのコードを表せる。 For example, if the code number of colors is n, the color-coded target CT1 of FIG. 3 (a), for the unit area of ​​the color code section P3 is three, expressed code n × n × n Street. 信頼度を上げるため、他の単位領域に使用されている色を重複して使用しないという条件を課した場合でも、n×(n−1)×(n−2)通りのコードを表せる。 To increase the reliability, even if the imposed condition that does not use duplicate colors used in other unit areas, n × (n-1) × (n-2) represented the code of the street. そして、コード色数を増やせばコード数を増加できる。 Then, it increases the number of codes by increasing the number of code colors. さらに、カラーコード部P3の単位領域の数とカラーコード数を等しくするという条件を課すと、全てのコード色がカラーコード部P3に使用されるため、基準色部P2との比較のみで無く、カラーコード部P3の各単位領域間で色を相対比較することにより、各単位領域の色彩を確認して識別コードを決定することができ、信頼性を上げることができる。 Furthermore, when imposing the condition that an equal number of number color code unit areas of the color code part P3, since all the code colors are used in the color code section P3, without only compared with the reference color section P2, by relative comparison color among the unit areas of the color code part P3, it is possible to determine the identification code to check the color of each unit area, it is possible to improve the reliability. さらに、各単位領域の面積を全て同じにする条件を追加すると、カラーコード付きターゲットCTを画像中から検出する際にも使用できる。 Further, when you add a condition that all areas of the unit areas the same, can also be used to detect targets CT with a color code from the image. これは、異なる識別コードをもつカラーコード付きターゲットCT間でも各色の占有する面積が同じになるため、カラーコード部全体からの検出光からはほぼ同様な分散値が得られるからである。 This is because for the same area also occupied by the respective colors between the color-coded targets CT having different identification code, almost the same dispersion value from the detected light from the entire color code part obtained. また、単位領域間の境界は等間隔に繰り返され、明確な色彩差が検出されるので、このような検出光の繰り返しパターンからもカラーコード付きターゲットCTを画像中から検出することが可能である。 The boundary between unit areas is repeated at equal intervals, so clear color difference is detected, it is possible to detect such detection light targets CT with a color code from repeating pattern from the image .

白色部P4は、カラーコード付きターゲットCTの方向検出用と色ズレのキャリブレーション用として使用する。 White part P4 is used for the calibration of the directional detection of the color-coded targets CT and color shift. カラーコード付きターゲットCTの四隅の内、一カ所だけレトロターゲットが配置されない箇所があり、これをカラーコード付きターゲットCTの方向検出用に使用できる。 Among four corners of the color-coded targets CT, there is a part of the retro-target only one location is not placed, which can be used for direction detection in the color-coded target CT. このように白色部P4はレトロターゲットと異なるパターンであれば良い。 Thus white part P4 may be any pattern different from the retro-target. したがって、白色部には目視でコードを確認するための番号などの文字列を印刷しても良く、また、バーコード等のコード領域としても使用しても良い。 Thus, the white portions may be printed a character string, such as number to verify the code visually, or may be also used as the coding region, such as a bar code. さらに、検出精度を上げるために、テンプレートマッチング用のテンプレートパターンとして使用することも可能である。 Furthermore, in order to increase the detection accuracy, it is also possible to use as a template pattern for template matching.

図4にカラーコード付きターゲットCTを抽出する抽出部41及びそのカラーコードを判別する識別コード判別部46の構成例を示す。 Figure 4 shows the configuration example of the extraction unit 41 and the identification code discrimination section 46 for discriminating the color code extracting a color-coded targets CT. 抽出部41は、探索処理部110、レトロターゲットグループ化処理部120、カラーコード付きターゲット検出処理部130、画像・カラーパターン記憶部140を有する。 Extractor 41 includes a search processing unit 110, the retro-target grouping process section 120, the color-coded target detection processing section 130, an image color pattern storing section 140. また、識別コード判別部46はカラーコード付きターゲット検出処理部130で検出されたカラーコードを判別しコード番号を付与する。 The identification code discrimination section 46 imparts to determine color code detected with the color-coded target detection processing section 130 code number.

探索処理部110は、撮影画像データ記憶部13又はモデル画像記憶部48Bから読み込まれたカラー画像(撮影画像又はモデル画像)から、レトロターゲットパターン等の位置検出用パターンP1を検出する。 Search processing unit 110, a color image read from the photographed image data storage section 13 or the model image storage section 48B (photographed image or model image), detects the position detection pattern P1, such as retro-target pattern. 位置検出用ターゲットとして、レトロターゲットパターンの代わりにテンプレートパターンが用いられた場合は、テンプレートパターン検出をする。 As the position detection target, if the template pattern is used instead of retro-target pattern and the template pattern detection.
レトロターゲットグループ化処理部は120は、探索処理部110で検出したレトロターゲットが同じカラーコード付きターゲットCTに属すると判断されたもの(例えば座標がカラーコード付きターゲットCT内にあるもの)を同一グループに属する候補としてグループ化する。 Retro-target grouping process section 120, the same group that detected the retro-target is determined to belong to the same color-coded target CT (for example, those coordinates are within the color-coded targets CT) in search processing unit 110 They are grouped as a candidate belonging to.

カラーコード付きターゲット検出処理部130は、同じカラーコード付きターゲットに属すると判断されたレトロターゲットのグループから、当該カラーコード付きターゲットCTの領域と方向を検出するカラーコード付きターゲット領域方向検出処理部131と、カラーコード付きターゲットCTの基準色部P2、カラーコード部P3における色彩の配列、画像中の測定対象物1の色彩を検出する色彩検出処理部311と、基準色パターンP2を参照してカラーコード部P3及び画像中の測定対象物1の色彩を補正する色彩補正部312と、グループ化が適正になされたかを確認する確認処理部313で構成されている。 Color-coded target detection processing section 130, from a group of retro-targets that are judged to belong to the same color-coded target, a color-coded target area direction detection unit 131 for detecting the area and direction of the color-coded target CT When the color with reference the reference color section P2 of the color-coded target CT, color arrangement of the color code section P3, the color detection processing section 311 for detecting the color of the measurement object 1 in the image, the reference color pattern P2 a color correction unit 312 for correcting the color of the measured object 1 in the code section P3 and the image, the grouping is made in the confirmation processing unit 313 to check has been made properly. なお、抽出された撮影画像の色彩補正は色彩補正部312が行ない、形成または選択された投影パターンの色彩修正は色彩修正部494が行う。 Incidentally, the color correction of the extracted photographed image performs the color correction unit 312, color correction of forming or selected projection pattern is performed by the color correction unit 494.

画像・カラーパターン記憶部140は、抽出部41に読み込んだ画像(撮影画像・モデル画像)を記憶する読込画像記憶部141と、使用が予定される複数種類のカラーコード付きターゲットCTについて、カラーコード付きターゲットCTの種別を示す種別コード番号を記憶し、さらに、各種のカラーコード付きターゲットCTについて、パターン配置とコード番号の対応関係を記録するカラーコード付きターゲット対応表142で構成されている。 Image color pattern storage section 140, the read image storage section 141 for storing an image (captured image model image) read to the extraction unit 41, the plurality of types of color-coded targets CT whose use is planned, the color code per store type code number indicating the type of the target CT, further, various color-coded target CT of, and a color-coded target correspondence table 142 for recording the correspondence relationship between the pattern arrangement and code numbers.

識別コード判別部46は、カラーコード部P3における色彩の配列から識別コードを判別し、識別コードに変換するもので、カラーコード付きターゲット検出処理部130で検出されたカラーコード付きターゲットCTの領域と方向のデータに基づいて、カラーコード付きターゲットCTの座標を変換する座標変換処理部321と、座標変換されたカラーコード付きターゲットCTのカラーコード部P3における色彩の配列から識別コードを判別し、識別コードに変換するコード変換処理部322で構成されている。 Identification code discrimination section 46 discriminates the identification codes from the disposition of colors in the color code section P3, and converts the identification code, the area of ​​the detected color-coded targets CT in the color-coded target detection processing section 130 based on the direction data, the coordinate conversion processing unit 321 converts the coordinates of the color-coded targets CT, to determine the identification code from the color arrangement in the color code section P3 of the color-coded targets CT coordinate transformation, identification is composed of the code conversion processing unit 322 converts the code.

[システムの動作] [System Operation]
図5に、三次元計測システムの動作を説明するフローチャート例を示す。 5 shows an example flowchart for explaining the operation of the three-dimensional measuring system. ここでは基本フローとして各種パターン投影に係るフローを除いたものを示し、各種パターン投影に係るフローは図14で後述する。 Here indicates minus the flow according to various patterns projected as a basic flow, the flow of the various pattern projection will be described later with reference to FIG 14.
まず、撮影対象物1にカラーコード付きターゲットを貼付する(S01)。 First, attaching a color-coded target in the shooting target 1 (S01). 投影を行なう場合には貼付に代えて又は貼付と併用して投影が行なわれる。 Projection in combination with or in sticking instead sticking is performed when performing projection. カラーコード付きターゲットを貼付した位置は、計測点Qとして標定や三次元計測に使用される。 Position affixed color-coded target is used orientation or three-dimensional measurement as a measurement point Q. 次に、デジタルカメラ等の撮像部10を用いて撮影した測定対象物1の画像(典型的にはステレオ画像)を撮影し(S10)、撮影した画像を撮影画像データ記憶部13に画像登録する(S11)。 Then, the measuring object 1 images captured using the imaging unit 10 such as a digital camera (typically stereo images) photographed (S10), image registers the captured image on the photographed image data storing section 13 (S11).

図6にオーバーラップ撮影の例を示す。 Figure 6 shows an example of overlap photographing. 計測対象物1に対して、1台、2台もしくは複数台のカメラ10にてオーバーラップするように撮影する(S10)。 Against measurement object 1, one at two or more cameras 10 to shoot to overlap (S10). カメラ10の台数は1台〜複数台、何台でも良く、とくに制約はない。 One number of cameras 10 ~ multiple, well anything units, there is no particular limitation. 基本的には図6(b)に示すように、2台1組のカメラでステレオ撮影し、このステレオ撮影した画像の一部をオーバーラップさせながら一連のステレオ画像を取得し、標定や三次元計測に供するのであるが、図6(a)に示すように、1台で複数方向からオーバーラップするように撮影しても良く、また、複数台のマルチカメラでオーバーラップするように撮影してもよい。 Basically, as shown in FIG. 6 (b), the stereo imaging with two pair of cameras to obtain a series of stereo images while the overlapped portion of the stereo photographed images, orientation and three-dimensional although the subjected to measurement, as shown in FIG. 6 (a), may be taken so as to overlap in a plurality of directions at one, also taken so as to overlap with a plurality of multi-camera it may be. この場合オーバーラップしあう2つの画像でペアを構成するが、1つの画像が例えば左隣の画像と1つのペアを構成し、右隣の画像と別のペアを構成しても良い。 While configuring a pair with this case two images mutually overlapping, one image constitute an image and one pair to the left for example, may constitute an image and another pair of right.

図7に左右のステレオカメラで撮影される撮影画像の例を示す。 An example of a captured image captured by the left and right stereo cameras in FIG. 図7(a)にステレオ画像のオーバーラップの様子を示す。 Figure 7 (a) shows a state of overlapping of the stereo image. 計測される基本範囲は、2枚(一対)のステレオ撮影画像のオーバーラップ範囲である。 Basic range to be measured is overlapped range of the stereo image captured by the two (a pair). このとき、4個のカラーコード付きターゲットCTがオーバーラップ範囲に入るように撮影するが好ましい。 At this time, although the target CT with four color codes are photographed to enter the overlap range preferred. このようにするとステレオ画像を用いて三次元測定が可能である。 In this way it is possible to three-dimensionally measured by the stereo image. また、図7(b)に隣接し合うステレオ画像間のオーバーラップのさせ方の例を示す。 Further, an example how to the overlap between stereo images adjacent in FIG. 7 (b). この様に、上下左右方向に2個のカラーコード付きターゲットCTを含んでオーバーラップするように一連の画像を撮影するのが好ましい。 Thus, to shoot a series of images to overlap comprises two color-coded targets CT in the vertical and horizontal directions is preferred. このようにすると広域にわたる非接触三次元測定の自動化が可能になる。 In this way it is possible to automate the non-contact 3D measurement over a wide area.

図5に戻り、次に、対応部40は、撮影画像データ記憶部13に登録された撮影画像又はモデル画像記憶部48Bに記憶されたモデル画像を抽出部41の画像・カラーパターン記憶部140へ読み込む。 Returning to FIG. 5, then the corresponding portion 40, the model image stored in the photographed image or model image storage section 48B registered in the photographed image data storing section 13 to the image-color pattern storing section 140 of the extractor 41 read. 抽出部41では撮影画像からカラーコード付きターゲットCTを抽出する(S14)。 From the extraction unit 41 in the captured image to extract the color-coded targets CT (S14). 識別コード判定部46において、抽出されたカラーコード付きターゲットCTの識別コードを判別し(S15)、抽出されたカラーコード付きターゲットCTの位置座標及び識別コードはパターン情報記憶部47に記憶される。 In the identification code judging unit 46, the extracted to determine the identification code of the color-coded targets CT (S15), the position coordinates and the identification code of the extracted color-coded targets CT is stored in the pattern information storage unit 47.

[ステレオペアの設定] [Set of stereo pairs]
次に、ステレオペアの設定に移行する。 Then, the process proceeds to the setting of a stereo pair. 識別コードを利用して撮影画像データ記憶部13に登録された画像のうち、ステレオペアとなる左右画像の組を設定する(S16)。 Of the registered image to the photographed image data storing section 13 by using the identification code, to set a set of left and right images as a stereo pair (S16).

図8に、ステレオペア選択(S16)のフロー例を示す。 8 shows a flow example of a stereo pair selected (S16). まず。 First. 画像毎に登録されたカラーコード付きターゲットCTの番号をリストアップし(S550)、この中から、共通のコード番号のターゲットCTが複数含まれている画像からステレオペアを選択する(S560)。 It lists the number of color-coded targets CT registered for each image (S550), from the target CT of common code number to select a stereo pair from an image that contains a plurality (S560). 撮影の際に図7(a)に示すように、4つのカラーコード付きターゲットCTを含むようにステレオ撮影していれば、4つのカラーコード付きターゲットCTが入った画像が2枚ずつあるので、ステレオペアが設定できる。 As shown in FIG. 7 (a) during the shooting, if the stereo photographing to include targets CT with four color codes, the image containing the target CT with four color code is one by two, stereo pair can be set. また、図7(b)に示すように、各ステレオペア間で共通のコード番号のカラーコード付きターゲットCTが2個入っている場合は、その画像の上下左右いずれかの隣接画像の関係にあるので、各ステレオペア間での配置関係を決定できる(S570)。 Further, as shown in FIG. 7 (b), if the color-coded target CT of common code numbers between each stereo pair is on two are in a relationship of upper and lower left or right neighboring image of the image because, it determines the positional relationship between each stereo pair (S570). このステレオペア選択のフローは自動的に行うことが可能である。 Flow of the stereo pair selection can be automatically performed.

次に、基準点設定部42によって、ステレオ画像の一方の画像(基準画像)上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する(S18)。 Then, the reference point setting unit 42, a near one of the images (reference image) that is specified on the stereo image, and searches for a matching point in the feature point, the matching points to the feature point to set the reference point (S18). また、対応点探索部43によって、ステレオ画像の他方の画像(探索画像)上における、基準点と対応する対応点を定める(S19)。 Also, the corresponding point search section 43, on the other image of the stereo image (search image), defining a corresponding point corresponding to the reference point (S19).

[標定] [orientation]
つぎに、標定部44によって、標定を行なう(S30)。 Next, the orientation section 44 performs orientation (S30). 撮影画像データ記憶部13に記憶された測定対象物1のステレオ画像の相互標定を行い、ステレオ画像のモデル画像に対する対応点関係を求める。 Performs mutual orientation of the stereo image of the photographed image data storage section 13 the measuring object 1 stored in, obtaining the corresponding points related to the model image of the stereo image.
ここで、2枚以上の画像のそれぞれの対応点(同一点)を各画像上で基準点設定部42と対応点探索部43により、操作者がマウスカーソルなどで基準画像上で指示した指示点に対して、特徴点に適合する基準点と対応する対応点の画像座標を読み取る。 Here, the corresponding point search section 43 and the reference point setting section 42 respectively of the corresponding points of the two or more images (same point) on each image, the operator instructs on the reference image with a mouse cursor designated point respect, reads the image coordinates of the corresponding point corresponding to the reference points matches the feature point. この対応点は通常画像毎に6点以上必要である。 The corresponding point is necessary and is six or more for each normal image. 予め測定対象物1について図示しない三次元位置測定装置で別途測定した三次元座標データを三次元座標データ記憶部53に記憶されていれば、基準点座標と画像の対応付けして、絶対標定を実行する。 If the stored three-dimensional coordinate data which is separately measured at the three-dimensional position measurement device (not shown) in advance for the measured object 1 in the three-dimensional coordinate data storage unit 53, the reference point coordinates and the image corresponding with to the absolute orientation Run. 記憶されていなければ相対標定を実行する。 If not stored to perform the relative orientation.

たとえば、オーバーラップしたステレオ画像の中にカラーコード付きターゲットが4個あり、1つのカラーコード付きターゲット中に3点の位置検出用パターン(レトロターゲット)があれば、合計12点の位置検出用パターン(レトロターゲット)の重心位置座標から標定処理できる。 For example, there four color-coded targets in the stereo images overlap, if any one of the color-coded pattern for position detection of three points in the target (retro-target), for detecting the position of the 12 points in total pattern It is the orientation process from the gravity center position coordinates (retro-target). 標定は最低でも6点以上あれば行えるので、位置検出用パターンはカラーコード付きターゲット中に最低2点あればよい。 Since orientation is performed if 6 points or more at a minimum, the position detecting pattern may if at least two points in the color-coded target. その場合8点で標定処理される。 In that case the orientation process with 8 points.
なお、標定処理は、自動、マニュアル、もしくは半自動によっても可能である。 Incidentally, the orientation process can be also automatic, manual, or by semi-automatic. 半自動では、カラーコード付きターゲットCT内の位置検出用パターンP1の近辺をマウスでクリックすれば、自動位置検出が行なえる。 In semi-automatic and clicking the vicinity of the position detecting pattern P1 in the target color-coded CT in mice, it can be performed automatically position detection.

次にステレオペア選択された各画像について、対応点の座標を用いて、標定部44により標定計算処理を行う。 Next, each image stereo pair selected, using the coordinates of the corresponding point, performing the orientation calculation processing by the orientation section 44. 標定計算処理により、撮影した左右それぞれのカメラの位置、傾き、対応点の位置、計測精度を求めることができる。 The orientation calculation process, the position of the captured left and right cameras, inclination, position of the corresponding points can be determined the measurement accuracy. 標定計算処理は、一対の撮影画像又は一対のモデル画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。 Orientation calculation process, performed in relative orientation with respect to the correspondence of the pair of photographed images or a pair of model images, with respect to orientation between a plurality or all of the images performed by bundle adjustment.

図9は、ステレオ画像におけるモデル座標系XYZとカメラ座標系xyzの説明図である。 Figure 9 is an illustration of a model coordinate system XYZ and camera coordinate system xyz in a stereo image. モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をX軸にとるようにする。 Taking the origin of the model coordinate system to the left of the projection center, to take a line connecting the right projection center in the X axis. 縮尺は、基線長を単位長さにとる。 To scale, take a baseline length to unit length. このとき求めるパラメータは、左側のカメラのZ軸の回転角κ1、Y軸の回転角φ1、右側のカメラのZ軸の回転角κ2、Y軸の回転角φ2、X軸の回転角ω2の5つの回転角となる。 Parameters to determine this time, the rotation angle κ1 of Z-axis of the left camera, the rotational angle φ1 of the Y-axis, rotation angle κ2 the Z-axis of the right camera, the rotational angle φ2 of the Y-axis, 5 of rotation angle ω2 of the X-axis One of the rotation angle. この場合左側のカメラのX軸の回転角ω1は0なので、考慮する必要ない。 So in this case, the rotation angle ω1 of the X-axis of the left camera 0, no need to consider. 共面条件式により、左右カメラの位置を定めるのに必要とされるパラメータを求めることができる。 The coplanar conditional expression, it is possible to determine the parameters required to determine the position of the left and right cameras.

モデル画像形成部48Aは、標定部44で標定されたパラメータに基づいて一対のモデル画像を形成し(S42)、モデル画像形成部48Aで形成されたモデル画像は、モデル画像記憶部48Bに記憶される(S43)。 Model image forming section 48A, based on the parameters orientation with orientation section 44 forms a pair of model image (S42), the model image formed by the model image forming section 48A is stored in the model image storage section 48B that (S43). 撮影・モデル画像表示部48は、このモデル画像をステレオ画像として表示装置60に表示する(S44)。 Photographing and model image display section 48 displays this model image on the display device 60 as a stereo image (S44).

図10にリファレンスポイントRFを有するターゲットの例を示す。 Figure 10 shows an example of target having reference points RF. リファレンスポイントRFを有する計測パターンを用いて標定を行なうことにより、また、標定を繰り返すことにより、標定の精度が向上するが、このような標定は、通常は一度標定処理されたモデル画像に基づいて行われる。 By performing the orientation by using the measurement pattern having a reference point RF, also by repeating orientation, although orientation of the accuracy is improved, such orientation is normally based on a time orientation process model image It takes place. モデル画像はモデル画像記憶部48Bから抽出部41の読込画像記憶部141に読み込まれて、再標定に用いられる。 Model image is read into the read image storage section 141 of the extractor 41 from the model image storage section 48B, it is used to re-orientation. 図10(a)ではリファレンスポイントRFとして複数のレトロターゲットが配置されている。 A plurality of retro-target is arranged as reference points RF in FIG. 10 (a). 平面的な測定対象物1では、カラーコード付きターゲットCTだけでよい場合もあるが、測定対象物1の曲面が複雑な場合や曲率が大である場合は、カラーコード付きターゲットCTに加えてこれらリファレンスポイントRFとして多数のレトロターゲットを貼り付けたほうが標定や計測の信頼性が高くなる。 In planar measuring object 1, but in some cases it is only the target CT color-coded, when the curved surface is complex or if the curvature of the measurement object 1 is large, they in addition to the color-coded targets CT It is better to paste a large number of retro-target increases the reliability of the orientation and measurement as a reference point RF.

図11にリファレンスポイントの自動対応付けのフロー例を示す。 Figure 11 shows a flow example of correspondences of the reference points. ここではこのリファレンスポイントRFの自動位置検出、対応付けについて説明する。 Here automatic position detection of the reference points RF, the correspondence will be described. まず、カラーコード付きターゲットCT内の位置検出用パターン(レトロターゲット)P1の位置を検出する(S110)。 First, to detect the position location of the detection patterns (retro-target) P1 in the target color-coded CT (S110). 図10(a)において、4つのカラーコード付きターゲットCT内の位置検出用パターンP1は合計12点で6点以上あり、標定処理が可能である。 In FIG. 10 (a), the position detecting pattern P1 in four color-coded targets CT are 6 points or more in total 12 points, it is possible orientation process is. そこで、標定処理を行い、次いで、偏位修正処理を行う。 Then, perform the orientation process, then, do the rectification process. 一般的には、標定作業により撮影カメラの位置と傾きを求めて(S120)、その結果を用いて偏位修正画像を作成する作業が行われる(S130)。 In general, seeking the position and tilt of the photographing camera by locating the work (S120), the task of creating a rectified image using the results is performed (S130). ここでは、標定部44の標定結果を用いてモデル画像形成部48Aにより、偏位修正画像を作成する処理を行う。 Here, the model image forming section 48A by using the orientation results in the orientation section 44 performs a process to create a rectified image.

モデル画像とは、偏位修正画像ともいい、撮影画像の一対である左右画像の対応点を同一エピポーララインEP上に再配置し、立体視可能な画像に再配置したものである。 The model image is also called rectified image, corresponding points of the pair is a lateral image of the captured image and rearranged on the same epipolar line EP, in which was rearranged stereoscopically visible image. 偏位修正処理により偏位修正画像(モデル画像)を作成する。 To create a rectified image (model image) by rectification process. 偏位修正画像とは、左右画像のエピポーララインEPを横一線となるように並べ替えた画像である。 The rectified image is an image rearranged epipolar line EP of the left and right images such that the lateral clear distinction. 従って、図10(b)に示すように、左右画像のリファレンスポイントRFは同一エピポーララインEP上に再配列される。 Accordingly, as shown in FIG. 10 (b), the reference points RF of the left and right images are rearranged on the same epipolar line EP. 標定処理の結果を用いてモデル画像を形成すると、このような偏位修正画像を得られる。 To form a model image using the result of the orientation process, obtained such a rectified image.

次に、同一エピポーララインEP上のリファレンスポイントRFとなるターゲットを探索する(S140)。 Then, to search a target of the reference points RF on the same epipolar line EP (S140). 偏位修正画像になっていれば、同一ライン上の一次元探索だけで済むので、探索が容易である。 If turned rectified image, since only needs one-dimensional search on the same line, it is easy to search. 他の場合は、エピポーララインEPだけではなく、その近辺を数ライン分探索する。 In other cases, not only the epipolar line EP, to explore several lines the vicinity. 図10(b)のように、同一ライン上でリファレンスポイントRFが見つかったら、それを対応点として対応付けし、識別(ナンバリング)する(S150)。 As in FIG. 10 (b), When the reference point RF is found on the same line, and associates it as a corresponding point, identification (numbering) (S150). ここで、もしリファレンスポイントRFが同一ライン上に複数ある場合は、その左右の位置から各リファレンスポイントRFを識別する。 Here, if the case where the reference point RF is more on the same line, identifies each reference point RF from the position of the left and right. 次に、検出されたリファレンスポイントRFを加えて、再度標定を行う(S160)。 Then added to the detected reference points RF, performs orientation again (S160). ここで、再度標定を行うことで、標定の信頼性を向上できる。 Here, by performing the orientation again, it is possible to improve the reliability of the orientation. 標定結果の精度が十分で(S170)、問題なければ処理を終了する。 Accuracy of orientation results is sufficient (S170), and ends the process if there is no problem. 不十分であれば、悪い点を削除し(S180)、再度標定をやり直す(S160)。 If insufficient, remove the bad points (S180), re-orientation again (S160).

[マッチングエリア決定] [Matching area determination]
図5に戻り、次に、対応部40にてマッチングエリアの決定(三次元計測範囲の決定)(S45)を行い、三次元座標演算部51にて三次元計測(ステレオ計測)を行い(S50)、三次元座標データ記憶部53にステレオ画像の対応点の三次元座標を登録する。 Returning to FIG. 5, then make a decision of a matching area at the corresponding portion 40 (determination of the three-dimensional measurement range) (S45), it performs three-dimensional measurement in a three-dimensional coordinate computing unit 51 (stereo measurement) (S50 ), and registers the three-dimensional coordinates of the corresponding points of the stereo image into a three-dimensional coordinate data storage section 53. マッチングエリアの決定(S45)には、マニュアル計測、半自動計測、自動計測が可能である。 The determination of the matching area (S45), manual measurement, semi-automatic measurement, it is possible to automatically measure. 半自動では、カラーコード付きターゲットCT内の位置検出用パターンP1の近辺をマウスでクリックすれば、自動位置検出が行なえる。 In semi-automatic and clicking the vicinity of the position detecting pattern P1 in the target color-coded CT in mice, it can be performed automatically position detection.

次に、ステレオマッチングエリアの自動決定いついて説明する。 Next, a description will be Itsui automatic determination of a stereo matching area. 図7(a)に示すように、ステレオ画像の4隅に配置されたカラーコード付きターゲットCTを含むように対応点探索部43でマッチング範囲を自動設定する。 As shown in FIG. 7 (a), to automatically set the matching range in the corresponding point search section 43 to include a color-coded targets CT located at the four corners of a stereo image. なお、マッチングの前に、一連のモデル画像について、隣接し合うモデル画像で共有されたカラーコード付き標識CTの識別コードが一致するように、測定対象物1に係る一連のモデル画像を配列して用いても良い。 Note that before matching, a series of model image, as the identification code of the color-coded target CT, which is shared by the model image adjacent to match, by arranging a series of model images of the measuring object 1 it may also be used.

図12にステレオマッチングエリアの自動決定の処理フロー例を示す。 Figure 12 shows an example of a process flow of the automatic determination of a stereo matching area. また、図13はステレオマッチングエリア設定を説明するための図である。 Further, FIG. 13 is a diagram for explaining a stereo matching area setting. 図13はカラーコード付きターゲットCTが位置検出用の3つのレトロターゲットを有する例である。 Figure 13 is an example in which color-coded targets CT has three retro targets for position detection. まず、ステレオ画像の4隅に配置されたカラーコード付きターゲットCTを抽出する(S160)。 First extracts color-coded targets CT located at the four corners of a stereo image (S160). 次に4つのカラーコード付きターゲットCT内にある各レトロターゲット部P1を検出する(S170)。 Then it detects each retro-target section P1 in the four color-coded targets in CT (S170). これらの検出については図17及び図18の説明を参照されたい。 These detection reference is made to the description of FIGS. 17 and 18. 次に、その検出された各レトロターゲット部P1の座標値から全てのレトロターゲット部P1を含むように、最も外側のレトロターゲット部P1を繋いだエリアを計測エリアとして設定する。 Then, the as from the detected coordinate values ​​of the retro-target section P1 includes all retro-target section P1, sets the area that connects the outermost retro targets section P1 as the measurement area. すなわち、左上を原点(0,0)とした場合、Y座標が最小の点同士を結べば水平の上ライン、Y座標が最大値の点を結べば水平の下ライン、X座標が最小値の点を結べば垂直方向の左ライン、X座標が最大値の点を結べば垂直方法の右ライン、というふうに、計測すべきマッチングエリアを自動で決定できる。 That is, when the upper left corner as the origin (0, 0), a horizontal upper line if the Y coordinate is Musube to each other minimum point, Y coordinate bottom line point a horizontal if Musube maximum value, X coordinate is the minimum value vertical left line if Musube point, right lines in the vertical way if Musube points X coordinate maximum value, the Fu that can determine the matching area to be measured automatically.

このように、マッチング領域を決定することで、図7(b)に示すように、各モデル画像間のオーバーラップも確実にとれるようになる。 Thus, by determining the matching area, as shown in FIG. 7 (b), so take surely be overlap between each model image. すなわち、カラーコード付きターゲットCTを画面の4隅の近くに配置し、常にこれらのカラーコード付きターゲットCTの最も外側にあるレトロターゲットを結ぶ領域をマッチングエリアとすることで、ステレオマッチングエリアが自動的に決められると同時に、各モデル画像間のオーバーラップを確実にすることができる。 In other words, to place the target CT color-coded near the four corners of the screen, always to the region connecting the retro-target and the matching area on the outermost of these color-coded targets CT, a stereo matching area is automatically It can at the same time is determined, to ensure overlap between each model image thing. この場合、各カラーコード付きターゲットCTに位置検出用パターン(レトロターゲット部)P1を最低2点以上配置(2点の場合は対角に配置)すれば、マッチングエリアの自動設定処理が可能となる。 In this case, if the color-coded target CT on the position detection pattern (retro-target section) P1 at least 2 points or more disposed (arranged diagonally in the case of two points), enabling automatic setting processing of the matching area .

全自動の場合、コード識別数が多ければ、隣接画像のオーバーラップをとりながら一対の画像(典型的にはステレオ画像)を基本単位として、任意の順序で撮影可能である。 For fully automatic, the more code identification number, a pair of images while taking overlap adjacent images (typically stereo images) as a basic unit, it is capable of shooting in any order. また、撮影順番を決めれば、コード識別数が少なくても自動化が可能である。 Also, be determined photographing order, even with a small code identification number is can be automated. その場合、ステレオ撮影された(オーバーラップした)2枚の画像中のカラーコード付きターゲットCTが識別できればよい。 In that case, is stereoscopic photography (overlapping) color-coded targets CT in two images it is sufficient identification. マッチングエリアの決定(S45)がなされた領域については、三次元計測(ステレオ計測)がなされる(S50)。 Determination of the matching area (S45) for is made regions, three-dimensional measurement (stereo measurement) is performed (S50). 三次元計測には、例えば相互相関係数法を利用した画像相関処理が用いられる。 The three-dimensional measurement, for example, image correlation processing using the cross-correlation factor method is used. 画像相関処理は対応部40(抽出部41、基準点設定部42、対応点探索部43など)の機能及び三次元座標データ演算部51の演算処理によりなされる。 Image correlation processing is done by processing the corresponding unit 40 (extraction section 41, the reference point setting unit 42, such as the corresponding point searching unit 43) functions and three-dimensional coordinate data calculation section 51.

三次元座標データ演算部51の演算処理にて測定対象物1の三次元座標が求められ、三次元座標データ記憶部53に記憶される。 Three-dimensional coordinates of the measuring object 1 in the arithmetic processing of the three-dimensional coordinate data calculation section 51 is determined and stored in the three-dimensional coordinate data storage section 53. 三次元座標データ演算部51にて求められた三次元座標あるいは三次元座標データ記憶部53から読み込まれた三次元座標から、立体的二次元画像形成部54にて測定対象物1の立体的二次元画像を作成し、立体的二次元画像記憶部55にて立体的二次元画像を記憶する。 From the three-dimensional coordinates read from the three-dimensional coordinates or three-dimensional coordinate data storage unit 53 obtained by the three-dimensional coordinate data calculation section 51, stereoscopic two of the measuring object 1 in stereoscopic two-dimensional image forming unit 54 create a dimension image, and stores the stereoscopic two-dimensional image in stereoscopic two-dimensional image storage unit 55. 立体的二次元画像表示部57は立体的二次元画像記憶部 55に記憶された情報を基に任意の方向から見た立体的二次元画像を表示装置60に表示する。 Stereoscopic two-dimensional image display unit 57 displays the stereoscopic two-dimensional image viewed from an arbitrary direction based on information stored in the stereoscopic two-dimensional image storage unit 55 to the display device 60.

かかる立体的二次元画像の画面は、任意の方向からの斜視状態を表すことが可能な測定対象物1の立体的二次元画像であり、ワイヤーフレーム面やテクスチャーマッピングによる画像の表示も可能である。 Screen according stereoscopic two-dimensional image is a stereoscopic two-dimensional image of the measuring object 1 capable of representing perspective state from any direction, the display is also possible for the image by wireframe surface and texture mapping . テクスチャーマッピングとは、測定対象物1の二次元画像に立体感を表現するテクスチャーを貼り付けることをいう。 The texture mapping, the two-dimensional image of the measuring object 1 refers to paste the textures for representing the stereoscopic effect.
このようにして、撮影(S10)〜三次元計測(S50)までは自動計測が可能であり、測定対象物1の三次元座標が求められ、立体的画像が表示装置60に表示される。 In this way, to the photographing (S10) ~ three-dimensional measurement (S50) is capable of automatic measurement, the three-dimensional coordinates of the measuring object 1 are obtained, three-dimensional image is displayed on the display device 60. (特許文献2参照) (See Patent Document 2)

〔投影装置の利用〕 [Use of the projection apparatus]
本実施の形態では、この基本処理フローに投影部(プロジェクター)12を利用することにより、次の処理を可能とするものである。 In the present embodiment, by utilizing the projection unit (projector) 12 to the basic processing flow, and makes it possible the following processing.
(a)プロジェクター12でカメラで撮影する範囲を照明し、ステレオカメラ10でその範囲を撮影するように調整する。 Illuminating the range photographed by the camera in (a) the projector 12 is adjusted so as to photograph the range stereo camera 10.
また、カラーコード付きターゲットCTを投影パターンの4隅に配置して撮影範囲(重複撮影範囲)を表示すると共に、隣接画像の接続に用いるようにすることも可能である。 Further, displays a shooting range and arranged at four corners of the projection pattern of the target CT color-coded (overlap photographing range), it is also possible to make use in the neighboring image connection.
(b)プロジェクター12でテクスチャー用照明(照明のみ)を投影し、カメラ10では、1つのモデル画像のテクスチャー用の画像(測定対象物の画像)としてステレオペア画像を撮影する。 Projecting a texture lighting (lighting only) (b) the projector 12, the camera 10 photographs a stereo pair image as an image for the texture of one model image (image of the measuring object).

(c)計測前準備として、プロジェクター12から計測準備用パターンを投影し、これをステレオ撮影する。 As (c) measuring the preparatory projects the measurement preparation pattern from the projector 12, which is a stereo imaging. 計測準備用パターンは例えば図16のように多数の小円をアレイ状に配置したパターンや格子パターンを用いることができる。 Measurement preparation pattern can be used a number of patterns and grid pattern of small circles arranged in an array as shown in Figure 16, for example. 測定対象物1の形状が目視、あるいは計算処理にてわかるパターンであればよい。 The shape of the measurement object 1 may be a pattern that can be seen visually, or calculation processing. チェックは目視もしくは計算処理にて行う。 Check is carried out by visual observation or calculation processing. 計測対象物1の形状に応じて投影パターンが変形するので、パターンの変形点をチェックすることにより、測定対象物1の形状の概略を把握できる。 Since the projected pattern is deformed according to the shape of the measurement object 1, by checking the transformation point of the pattern, you can grasp the outline of the shape of the measuring object 1.

計測前準備で抽出した変形点に、リファレンスポイントRFを貼り付ける、もしくは、計測点Q(標定点を含む)を増加する等の処置が可能である。 The deformation points extracted by the measuring preparatory, pasting reference points RF, or treatment are possible, such as increasing the measurement points Q (including the orientation point). また、標定点の大きさ、数、配置などを計算して本番のパターン投影に反映できる。 The size of the orientation point number can be reflected to the production of a pattern projected by calculating the like arrangement.

計測前準備で変形点のチェックを行なうに際し、概略測定を併せて行なう方法も可能である。 Upon checking of the transformation point in the measurement before preparation method of performing together an outline measurement it is also possible. すなわち、撮影画像をパターン検出部491を介して標定部44に送り、標定計算をする。 That is, the captured image through the pattern detection unit 491 sends to the orientation section 44, the orientation calculation. さらに、計測準備用パターンの計測点数が十分多い場合など、投影した標定点を計測点として計測処理を完了することも可能である。 Furthermore, a case number of measurement points of the measurement preparation pattern is sufficiently large, it is possible to complete the measurement process a projected orientation points as measurement points.

(d)標定処理において、プロジェクター12からカラーコード付きターゲットCT及びリファレンスポイントRFを投影する。 (D) In ​​the orientation process, to project the target CT and reference points RF color-coded from the projector 12. ここで、カラーコード付きターゲットCTを照射された位置に貼り付ける。 Here, pasting the irradiation position of the target CT color-coded. 計測前準備で貼ってある場合はそれ以外の点に貼る。 If you put in the measurement before preparation is put on other points. なお、投影されたパターンから計測する場合は貼り付ける必要はなく、これをステレオ撮影し、再度標定処理に利用する。 In the case of measurement from the projected pattern it does not need to paste, which was stereo photography, used for the re-orientation process.

(e)三次元計測において、プロジェクター12から計測用のパターンを投影する。 (E) In the three-dimensional measurement, for projecting a pattern for measurement from the projector 12. この場合、例えばステレオマッチング用にランダムパターンなどを照射する。 In this case, for example, it is irradiated with such as a random pattern for stereo matching. 計測用パターンは、先にカメラコンディションにより必要精度が算出されており、その精度に見合った大きさの計測用パターンが照射される。 Measurement pattern is previously have required precision is calculated by the camera condition, the measurement pattern of a size commensurate with its accuracy is irradiated. これをステレオ撮影し、三次元計測に利用する。 This was the stereo photography, used for three-dimensional measurement.

(f)次の撮影位置に移動するときに、プロジェクター12によって次の撮影位置を概略ナビゲ−ションしてもよい。 When moving to (f) next imaging position, the next photographing position by the projector 12 schematically navigate - may Deployment.
なお、以上の処理を全自動化することも可能である。 Note that it is possible to totally automate the above process. その場合、貼り付け作業は行わず、すべてプロジェクターからの投影パターンを用いて、計測前準備、標定及び三次元計測を行なう。 In that case, attachment work is not performed, all using a projection pattern from the projector, measurement preparatory performs orientation and three-dimensional measurement.

図14に、投影装置を利用する計測フローの例を示す。 14 shows an example of a measurement flow that uses a projection device. プロジェクター12で第1の計測パターン(予備測定用パターン等)を投影し、投影されたパターンの変形に基づき第2の計測パターン(精密測定用パターン等)を形成して投影するものである。 First measurement pattern (preliminary measurement pattern, etc.) is projected by the projector 12 is designed to project to form a second measurement pattern based on the deformation of the projected pattern (Precision measurement pattern, etc.).
まず、撮影コンディションを入力する(S200)。 First, you enter the shooting condition (S200). 撮像部10は、焦点距離可変の光学系で構成される。 Imaging unit 10 is composed of a variable focal length of the optical system. 撮影コンディションは、撮像部10のカメラパラメータとして、使用するデジタルカメラの画素数、概略ピクセルサイズ、焦点距離、撮影距離、基線長、オーバラップ率のいずれか一つを入力すれば、平面分解能、奥行き分解能、画角、計測領域などを計算できる。 Shooting condition as camera parameters of the imaging unit 10, the number of pixels of the digital camera used, schematic pixel size, focal length, photographing distance, baseline length, by entering any one of the overlap ratio, plane resolution, depth resolution, angle of view, can be calculated and the measurement area. すなわち、撮像部10における撮影範囲に応じて、投影部12は投影されるパターン範囲を設定することができる。 That is, according to the imaging range of the imaging unit 10, the projection portion 12 can be set the pattern range to be projected. これにより予備測定用パターンの計測点の配置、パターン密度を調整可能である。 Thus the arrangement of the measurement points of the preliminary measurement pattern, it is possible to adjust the pattern density. 加えて、サイドラップ率、計測したい領域の大きさ等を入力すれば、撮影枚数が計算できる。 In addition, side wrapping rate, by entering the size of the area to be measured, number of shots can be calculated. あるいは、カメラパラメータと必要精度(画素分解能)などを入れてカメラの撮影距離、基線長などを計算することも可能である。 Alternatively, the camera parameters and the required accuracy (pixel resolution) camera imaging distance put like, it is also possible to calculate and base length.

次に、入力されたコンディションによってカメラパラメータを計算する(S210)。 Next, calculate the camera parameters by the input condition (S210). この場合、そのコンディションによって、平面画素分可能、奥行き分解能、一対のステレオ画像における計測範囲の大きさ、測定対象物全体の画像を得るための必要画像枚数などが算出される。 In this case, by the condition, the plane pixels can, depth resolution, the size of the measurement range in the pair of stereo images, such as required number of images for obtaining an image of the entire measuring object is calculated.
平面分解能、奥行き分解能の計算式は以下のとおりである(*は乗算演算子)。 Plane resolution, equation depth resolution is as follows (* is the multiplication operator).

Δxy(平面分解能)=δp(ピクセルサイズ)*H(撮影距離)/f(焦点距離) [Delta] xy (plane resolution) = .delta.p (pixel size) * H (shooting distance) / f (focal length)
Δz(奥行き分解能)=δp*H*H/(f*B(基線長:カメラ間距離)) Delta] z (depth resolution) = δp * H * H / (f * B (base line length: inter-camera distance))

次に、撮像部10のカメラパラメータの計算結果に合致するように、プロジェクター12の位置、投影条件を設定する(S220)。 Then, to match the calculation results of the camera parameters of the imaging unit 10, the position of the projector 12, to set the projection condition (S220).

次に、プロジェクター12を撮影範囲表示モードとして、カメラ10で撮影する範囲を投影する(S230)。 Next, the projector 12 as the imaging range display mode, projects a range photographed by the camera 10 (S230). 投影は左右のステレオカメラ10で撮影される範囲のみの照明となっていてもよい。 Projection may constitute a lighting only area to be photographed by the left and right stereo camera 10. この場合、先に入力したコンディションと使用するプロジェクター12の画角から自動的に計算してその範囲を照明もしくは表示する。 In this case, automatically calculates and illuminating or displaying the range of the field angle of the projector 12 to use a condition entered earlier. 左右の撮影範囲の重複範囲から標定や三次元計測可能な有効範囲が定まる。 Orientation and three-dimensional measurement can be an effective range from the overlapping range of the left and right of the shooting range is determined. 重複撮影範囲表示用パターンはステレオ画像の重複範囲(オーバーラップ部)を表示するもので、パターン投影制御部493により4個のカラーコード付きターゲットCTを投影し、図7(a)に示すように重複範囲の四隅に配置するように設定し、パターン形成部492でこの配置状態のパターンを重複撮影範囲表示用パターンとして形成する。 Duplicate photographic range display pattern is used for displaying the overlapping range of the stereo image (overlapping portion), the pattern projection control unit 493 projects the targets CT with four color codes, as shown in FIG. 7 (a) set to be placed in the four corners of the overlap region, to form a pattern of the arrangement as a duplicate photographic range display pattern in the pattern forming portion 492. そして各種計測パターンにこの重複撮影範囲表示用パターンを重ねて投影すると、又は各種計測パターンに重複撮影範囲表示用パターンと同じ位置に4個のカラーコード付きターゲットCTを追加して投影すると、ステレオ画像を撮影する際に4個のカラーコード付きターゲットCTを含めるように撮影でき、さらに、隣接する画像を接続できるようして、測定対象物全体に亘る一連のステレオ画像を撮影できる。 When the projected overlapping the overlapping imaging range display pattern on various measurement pattern, or when various measuring patterns in the overlap photographing range in the same position as the display pattern 4 by adding color-coded targets CT projection, stereo image the pictures can be taken to include targets CT with four color codes when taking and advances to connect the adjacent images can be photographed a series of stereo images throughout the measurement object.

次に、投影された範囲がほぼ画面一杯に写るようにカメラ位置を設定する(S240)。 Next, projected range sets the camera position as caught on almost screen full (S240). この場合、重複撮影範囲表示用パターンにおける4個のカラーコード付きターゲットCTが確実に左右のステレオ撮影画面に入るように設定する。 In this case, the four color-coded targets CT in the overlap photographing range display pattern is set to enter reliably right stereo photographing screen. なお、先に入力されたコンディションで概略のカメラ位置は既知なので、それらのカメラコンディションを測定対象物に投影して確認できるようにそても良い。 Since the camera position of the outlined conditions previously input is known, may be its As can be seen by projecting their camera conditioning the measurement object.

次に、投影モードをテクスチャー照明モードとして、テクスチャー用照明をプロジェクター12より投影する(S245)。 Next, as a texture illumination mode of the projection mode, projecting from the projector 12 texture illumination (S245). テクスチャー用照明とは、有形のパターンを用いず、一様な照明光で対象物を照明するもので、測定対象物1にターゲットを貼り付ける位置を検討するためにも有効である。 The texture lighting, without tangible pattern, intended to illuminate the object with uniform illumination light, it is effective to consider the paste position of the target object to be measured 1. もし、撮影範囲を投影する工程(S230)で照明のみの投影を行なっている場合には、この作業は不要である。 If, when doing the projection of the illumination only in step (S230) for projecting the imaging range, this task is not required.

次に、テクスチャー用の画像として1モデル(ステレオペア:2枚の画像)を撮影する(第1の撮影 S250)。 Then, 1 model as an image for the texture: shoot (stereo pair 2 images) (first imaging S250). テクスチャー画像が必要ないときは、ここで撮影しなくともよい。 When there is no need texture image may not be captured here. なお、テクスチャー照明モードで投影されたパターンの撮影画像から取得された色彩に基づいて、投影部12により投影するカラーコード付きターゲットCTの色彩を修正することも可能である。 Incidentally, on the basis of the color obtained from the captured image of the projected pattern texture illumination mode, it is also possible to modify the color of the color-coded targets CT for projecting the projection unit 12. 修正は例えばパターン形成部492で色彩修正部494を利用して行ない、パターン投影制御部493で修正された計測パターンを投影部12に投影させる。 Modification example performs by using the color correction unit 494 in the pattern formation section 492, projecting the measurement pattern that has been modified by the pattern projection control unit 493 to the projection portion 12.
なお、以上の工程は、図5の処理フローの前に、少なくとも撮影(S10)の前に行われる。 The above steps, prior to the processing flow of FIG. 5, is performed before at least shooting (S10).

次に計測前準備(予備測定)(S255)について説明する。 It will now be described preparation before measurement (preliminary measurement) (S255). 計測前準備を行う理由は、本番の標定や三次元計測を効率良く行えるようにするためである。 The reason for measuring pre-preparation, in order to allow efficient production of orientation and three-dimensional measurement. したがって、対象物によって行っても行わなくともよい。 Therefore, it is not necessary to perform even if the object. あるいは一度やっておけば、類似の対象物を計測する場合には必要ない。 Or if doing once, there is no need in the case of measuring the similarity of the object.

図15に計測前準備(S255)の処理フロー例を示す。 Figure 15 shows a processing flow example of preparation before measurement (S255). 計測前準備(S255)は図5の撮影(S10)の前に行われる。 Preparation Before Measurement (S255) is performed before the photographing of FIG 5 (S10). まず、プロジェクターの投影モードを計測モードとして、計測準備用パターンを投影する(S300)。 First, the projection mode of the projector as the measurement mode, projects a measurement preparation pattern (S300). なお、計測準備用パターンも計測パターンPの1態様である。 Incidentally, measurement preparation for the patterns is one aspect of the measurement pattern P. 図16に計測準備用パターンの例を示す。 Figure 16 shows an example of a measurement preparation pattern. 図16(a)は多数の小円をアレイ状に配置したパターン(小円パターンという)であり、図16(b)は格子パターンである。 A diagram 16 (a) pattern arranged a number of small circles in an array (called small circle pattern), FIG. 16 (b) is a grid pattern. しかし、これらに限られるものではなく、測定対象物1の形状が目視、あるいは計算処理にてわかるパターンであればよい。 However, it is not limited to, the shape of the measurement object 1 may be a pattern that can be seen visually, or calculation processing. すなわち、測定対象物の形状の起伏が存在する位置に適当な間隔でくまなく配置できるパターンであればよい。 That may be a pattern that can be arranged throughout at appropriate intervals at a position undulating shape of the measuring object is present. 小円パターンや格子パターンの場合、計測対象物1の形状に応じて投影したパターンが変形するので、計測点の変位をパターンの変形点をチェックすることにより見出し、測定対象物1の形状の概略を把握できる。 For small circle pattern or grid pattern, since the projected pattern is deformed according to the shape of the measurement object 1, found by checking the transformation point of the pattern displacement of the measurement point, outline of the shape of the measuring object 1 a can grasp. ここにおいて、変位とは測定対象物表面が投影光に垂直な平面に投影された場合の計測点からの変位をいう。 Here, the measurement target surface and the displacement means a displacement from the measurement point when projected on a plane perpendicular to the projection light.

撮影コンディション入力工程(S200)で撮影コンディションを入力しているので、この値から、標定点の大きさ、数、配置などを計算してパターン形成部492により計測パターンを形成し、パターン投影制御部493により投影部12に投影させても良い。 Since entering the photographing condition in the photographing condition input step (S200), from this value, the magnitude of the orientation points, the number, the pattern forming section 492 arranged like the calculation to form a measurement pattern, the pattern projection control unit 493 by may be projected onto the projection portion 12. また、同時にリファレンスポイントRFやカラーコード付きターゲットCTを格子の交差点や小円の重心点等に挿入又は置換して計測準備用パターンとしてもよいし、他の形状のものを挿入又は置換してもよい。 Further, it may be a measurement preparation pattern by inserting or replacing targets CT with reference points RF, color code, etc. to the center-of-gravity point of intersection and small circles of the grating at the same time, inserting or substituting others shapes good.

次に、パターンの変形点をチェックする(S310)。 Next, to check the deformation point of the pattern (S310). チェックは目視もしくは計算処理にて行う。 Check is carried out by visual observation or calculation processing. ここでは、予備的におよその形状を予測できれば良いので、目視でも可能な場合が多い。 Here, since it is sufficient predict preliminary approximate shape, case possible often visually. 計算処理の場合、ステレオカメラ10からの撮影画像をパターン検出部491にて格子の交差点や小円の重心点の変位を検出する。 For calculation process, detecting the displacement of the center of gravity of the grid intersections or small circles captured images from the stereo camera 10 in the pattern detection unit 491. 格子の交差点や小円の重心点は計測点に含まれる。 Center-of-gravity point of the intersection and the small circle of the grid is included in the measurement point. 例えば、格子の交差点や小円の重心点が等間隔でない箇所などを変形点(変位が生じている点)として検出すればよい。 For example, the center of gravity of the grid intersections or small circles may be detected like point not equidistant as transformation point (the point where the displacement occurs). 小円パターンの場合は重心位置検出アルゴリズムによって重心点を検出し、位置計測する。 For small circle pattern to detect the center of gravity by gravity center position detection algorithm to measure the position. これにより、計測準備用パターンを第1の計測パターンPとし、格子の交差点や小円の重心点をその計測点Qとすれば、パターン検出部491で第1の計測パターンにおける計測点の変位が検出されることとなる。 Thus, the measurement preparation for pattern as a first measurement pattern P, when the center of gravity of the grid intersections or small circles and the measurement point Q, the displacement of the measurement points in the first measurement pattern by the pattern detecting section 491 It will be detected.

変形点(変位が生じている点)が検出されたら、変形点にリファレンスポイントを貼り付ける、もしくは、計測準備用パターンにリファレンスポイントを追加する(S320)。 After transformation point (the point where the displacement occurs) is detected, paste reference point the deformation point, or to add a reference point measurement preparation pattern (S320). チェックが目視の場合、変形点をチェックした時点でリファレンスポイントを貼り付けても良い。 If the check is visual, it may be attached to the reference point at the time of checking the transformation point. 自動化処理の場合は、変位の大きさすなわち変形の大きさに応じて計測準備用パターンにリファレンスポイントを追加する。 For automated processing, add a reference point measurement preparation pattern according to the size of the size i.e. the deformation of the displacement.
このように、計測前準備を行うことにより、パターン変形点を事前に見出し、リファレンスポイントとして測定対象物1にターゲットを貼り付けたり、リファレンスポイントを追加した投影パターンを作成する、また、変形点付近のリファレンスポイントを増加する。 Thus, by performing the preliminary preparation measurement, we found pattern deformation point in advance, and paste the target measurement object 1 as a reference point, to create a projected pattern obtained by adding the reference point, also, near the transformation point to increase the number of reference points. これにより、標定や三次元計測を効果的に行うことができる。 Thus, it is possible to perform orientation and three-dimensional measurement effectively. リファレンスポイントを追加した投影パターンを作成する場合には、これにより、パターン検出部491で検出された第1の計測パターンにおける計測点の変位に基づいて、パターン形成部492で計測点を追加した第2の計測パターンを形成することとなる。 When creating a projection pattern obtained by adding the reference point, thereby, on the basis of the displacement of the measurement points in the first measurement pattern detected by the pattern detection unit 491, first adding the measuring points in the pattern forming section 492 It will form the second measurement pattern.

図14のフローに戻り、次に、カラーコード付きターゲットCT及びリファレンスポイントRFを投影する(S260)。 Returning to the flow of FIG. 14, then projecting the targets CT and reference points RF color-coded (S260). この工程は図5のS01に相当する。 This process corresponds to S01 of FIG. 5. 計測前準備が行われた場合には、その結果として、測定対象物1の変形点又は計測パターンPのこれに対応する点にリファレンスポイントRFが増加されている。 When the preparation before measurement is performed, as a result, the reference point RF to a point corresponding to the transformation point or measurement pattern P of the measured object 1 is increased. ここで、カラーコード付きターゲットCTを測定対象物1の照射された位置に貼り付ける。 Here, pasting target CT color-coded to the irradiation position of the measuring object 1. 前準備で貼ってある場合はそれ以外の点に貼る。 If you have put in front of preparation put on other points. なお、投影された計測パターンPを用いて計測する場合は貼り付ける必要はない。 It is not necessary to paste when measuring with the projected measurement pattern P.

次に、ステレオ撮影する(第2の撮影 S270)。 Next, a stereo photography (second shot S270). この工程は図5のS10に相当する。 This process corresponds to S10 in FIG. 5. 測定対象物に貼り付けられた又は計測パターンに追加されたカラーコード付きターゲットCT及びリファレンスポイントRFを含んで、第2の撮影がされる。 Contains pasted or color-coded targets CT and the reference points RF, which is added to the measurement pattern to the measured object, is the second shooting. この第2の撮影で得られた撮影画像は、標定に用いられ、効率的な標定が行われる(S275 図5のS11〜S30に相当する)。 The second captured image obtained by photographing is used in orientation, efficient orientation (corresponding to S11~S30 in S275 5) carried out. また、第2の撮影において使用された計測パターンを第1の計測パターンとして標定を行い、新たに標定点(計測点に含まれる)に変形点(変位が生じたもの)が見出され、これらの変形点付近のリファレンスポイントを増加した場合には、パターン検出部491で第1の計測パターンにおける計測点の変位が検出され、パターン形成部492でこの変位に基づいて計測点を追加した第2の計測パターンを形成することとなる。 Furthermore, the measurement pattern used in the second imaging performed orientation as the first measurement pattern, the transformation point to a new orientation point (included in the measurement point) (that displacement has occurred) were found, these If you increase the number of reference points in the vicinity of the transformation point of the displacement of the measurement points in the first measurement pattern is detected by the pattern detection unit 491, first adding a measurement point on the basis of the displacement in the pattern forming portion 492 2 It will form the measurement pattern.

次に、投影モードを例えばランダムパターンモードとして、三次元計測用の計測パターンを投影する(S280)。 Next, a projection mode, for example, as a random pattern mode, to project the measurement pattern for three-dimensional measurement (S280). この工程は図5のS01に相当する。 This process corresponds to S01 of FIG. 5. この場合、例えばステレオマッチング(三次元計測)用にランダムパターンなどを照射する。 In this case, irradiation with such random pattern for example stereo matching (three-dimensional measurement). 計測パターンは、先にカメラコンディションにより必要精度が算出されているので、その精度に見合った大きさの計測パターンが照射される。 Measurement pattern is the need accuracy is calculated by the camera condition above, the magnitude of the measurement pattern commensurate with its accuracy is irradiated. 計測前準備が行われた場合には、計測パターンにも、変形点にリファレンスポイントが増加されている。 When the preparation before measurement is performed, also the measurement pattern, the reference point is increased to transformation point.

次に、ステレオ撮影する(第3の撮影 S290)。 Next, a stereo photography (third shot S290). この工程は図5のS10に相当する。 This process corresponds to S10 in FIG. 5. 測定対象物に貼り付けられた又は計測パターンに追加されたカラーコード付きターゲットCT及びリファレンスポイントRFを含んで、第3の撮影がされる。 Contains pasted or color-coded targets CT and the reference points RF, which is added to the measurement pattern to the measured object, is the third shooting. この第3の撮影で得られた撮影画像は、三次元計測に用いられ、 効率的な形状計測が行われる(S295、図5のS42〜S50に相当する)。 The third captured image obtained by photographing is used in three-dimensional measurement, efficient shape measurement is performed (S295, corresponding to S42~S50 in Figure 5). また、第3の撮影において使用された計測パターンを第1の計測パターンとして三次元計測を行い、新たに計測点に変形点(変位が生じたもの)が見出され、これらの変形点付近のリファレンスポイントを増加した場合には、パターン検出部491で第1の計測パターンにおける計測点の変位が検出され、パターン形成部492でこの変位に基づいて計測点を追加した第2の計測パターンを形成することとなる。 Furthermore, the measurement pattern used in the third imaging performed three-dimensional measurement as a first measurement pattern, new transformation point to the measurement point (which displacement occurs) found, in the vicinity of these transformation point If you increase the number of reference points, a second measurement pattern displacement of the measurement points in the first measurement pattern is detected by the pattern detection unit 491, adding a measurement point on the basis of the displacement in the pattern forming portion 492 and thus to.
この設置位置で計測が行われたら、つぎの撮影位置に移動する(S298)。 Once the measurement at the installation position is performed to move to the next shot position (S298). すなわち、S220に戻って(場合によりS200に戻って)、測定対象物全体の三次元データを得るまで、撮影が繰り返される。 That is, (back to S200 optionally) returns to S220, until a three-dimensional data of the entire measurement object, imaging is repeated.

このときプロジェクターによって次の撮影位置についてナビゲーションしてもよい。 By this time projector may be navigation for the next photographing position. ナビゲーションとは例えば、投影された格子状パターンの歪具合から、標定点の数、配置を選択してラフ測定を行い、標定点の配置を検討したり、ミスマッチング領域を探して標定点の増加を検討したりすることをいう。 The navigation example, from the distortion degree of the projected grid pattern, the number of orientation points, performs rough measurement by selecting the arrangement, or to consider the arrangement of orientation points, an increase of orientation points looking mismatching area It refers to or consider. すなわちナビゲーションの結果により、パターンの貼付位置又は投影位置が定められる。 That the results of navigation, the attaching position or the projection position of the pattern is determined.

なお、第2の計測パターンを形成するに際し、計測点を減少又は変更することも可能である。 Incidentally, when forming the second measurement pattern, it is possible to reduce or change the measurement point. 例えば、リファレンスポイントをカラーコード付きターゲットに変更する、カラーコード付きターゲットのカラーコードパターンを変更する、特徴点付近の計測点を特徴点に移動する、前段階に戻って計測を行なうため、リファレンスポイントを減少する、標定不良点を削除するなどの場合がある。 For example, to change the reference point on the color-coded target, it changes the color code pattern of the color-coded targets, moving feature point measurement points near the feature point, performing measurement back to the previous step, a reference point to reduce, in some cases, such as to remove the orientation failure point.
図14の処理を全自動化することも可能である。 It is also possible to totally automate the process of FIG. 14. その場合、ターゲットの貼り付けは行わず、すべてプロジェクターからの投影パターンを用いて計測準備、標定及び三次元計測を行なう。 In that case, the pasting target without, performing any measurement preparation using the projection pattern from the projector, orientation and three-dimensional measurement. また、図5の処理フローにおいて投影装置の利用によりカラーコード付き標識貼り付け(S01)がカラーコード付き標識投影に代えられれば、このフローの全自動化も可能である)。 The color-coded target pasting by use of a projection device in the processing flow of FIG. 5 (S01) is as long instead of color-coded target projection, it is also possible total automation of the flow).

[カラーコード付きターゲットの検出フロー] [Detection flow of color-coded targets]
次に、カラーコード付きターゲットの検出フローについて説明する。 Next, a description will detect the flow of the color-coded target. カラーコード付きターゲットの検出はマニュアルもしくは自動処理で行う。 Detection of the color-coded targets is carried out in a manual or automatic processing. 自動処理の場合、カラーコード付きターゲットCTの色識別数もしくは撮影方法により異なったものとなる。 For automatic processing becomes different according to the method of color identification number or captured color-coded targets CT. まず最初に、カラーコード付きターゲットCTの色識別数が多い場合について説明する。 First, a description will be given when the number of colors identified in the color-coded targets CT are often initially. この場合、撮影の順番に制約はなく、全自動処理が可能となる。 In this case, there is no constraint on the order of the shooting, fully automatic processing is possible.

図17にカラーコード付きターゲットの検出のフロー例を示す。 Figure 17 shows a flow example of the detection of the color-coded target. 図5のS14〜S15の工程の例である。 It is an example of S14~S15 in the step of FIG.
まず、処理対象のカラー画像(撮影画像又はモデル画像)を抽出部41の読込画像記憶部141に読み込む(S500)。 First reads a color image to be processed (the photographed image or model image) to read image storage section 141 of the extraction section 41 (S500). 次に、読込まれた各画像よりカラーコード付きターゲットCTを抽出する(S510)。 Then, to extract the target CT color-coded from each image read (S510).

探索方法は、(1)カラーコード付きターゲットCT中の位置検出用パターン(レトロターゲット)P1を探索する方法、(2)カラーコード部P3の色分散を検出する方法、あるいは(3)彩色された位置検出用パターンを用いる方法など種々の方法がある。 Search method, (1) a method of searching for position detection pattern (retro-target) P1 in color-coded targets CT, (2) a method for detecting a chromatic dispersion of the color code part P3 or (3), which is colored there are various methods such as a method using a position detection pattern.

(1)カラーコード付きターゲットCTにレトロターゲットが含まれている場合は、明度差が鮮明なパターンを使用するので、カメラの絞りを絞りフラッシュ撮影することにより、レトロターゲットのみが光った画像を取得でき、この像を2値化することにより簡単にレトロターゲットを検出できる。 (1) if it contains retro-target is the color-coded target CT, because the brightness difference is to use a clear pattern, by flushing photographic stop aperture of the camera, acquiring an image only retro-target is flashed It can be detected easily retro-targets by binarizing this image.

図18はレトロターゲットを用いた重心位置検出の説明図で、(A1)は内円部204の明度が明るく、外円部206の明度が暗いレトロターゲット、(A2)は(A1)のレトロターゲットの直径方向の明度分布図、(B1)は内円部204の明度が暗く、外円部206の明度が明るいレトロターゲット、(B2)は(B1)のレトロターゲットの直径方向の明度分布図を示している。 Figure 18 is an explanatory view of the gravity center position detection using the retro-target, (A1) brighter lightness of the inner circle portion 204 has the brightness of the outer circle portion 206 is dark retro target, retro targets (A2) is (A1) lightness distribution diagram in the diameter direction, (B1) is dark brightness of the inner circle portion 204, the brightness is bright retro-target of the outer cylinders 206, (B2) is a brightness distribution diagram in the diameter direction of the retro-target of (B1) shows. レトロターゲットが図18(A1)のように内円部204の明度が明るい場合は、測定対象物1の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図18(A2)のようになり、光量分布の閾値Toからレトロターゲットの内円部204や中心位置を求めることが可能となる。 Since the retro-target may lightness of Uchien portion 204 is bright as shown in FIG. 18 (A1), have become bright part is more reflected light amount at the center-of-gravity position in the captured image of the measuring object 1, the light amount distribution of the image There is shown in Figure 18 (A2), it is possible to determine the inner circle portion 204 and the center position of the retro-target from the threshold to the light intensity distribution.

ターゲットの存在範囲が決定されると、例えばモーメント法によって重心位置を算出する。 When the existence range of the target is determined to calculate the gravity center position by, for example, the moment method. 例えば、図18(A1)に表記されたレトロターゲット200の平面座標を(x、y)とする。 For example, the inscribed plane coordinates of the retro-target 200 in FIG. 18 (A1) and (x, y). そして、レトロターゲット200の明度が、しきい値To以上のx、y方向の点について、(式1)、(式2)を演算する。 The brightness of the retro-target 200, the threshold To or more x, the point in the y direction is calculated (Formula 1), (Equation 2).
xg={Σx*f(x、y)}/Σf(x、y) −−−−(式1) xg = {Σx * f (x, y)} / Σf (x, y) ---- (Equation 1)
yg={Σy*f(x、y)}/Σf(x、y) −−−−(式2) yg = {Σy * f (x, y)} / Σf (x, y) ---- (Equation 2)
ここに、(xg、yg)は重心位置の座標、f(x、y)は(x、y)座標上の濃度値である。 Here, a (xg, yg) is the coordinates of the center of gravity position, f (x, y) is (x, y) the density value of the coordinates.
なお、図18(B1)に表記されたレトロターゲット200の場合は、明度がしきい値To以下のx、y方向の点について、(式1)、(式2)を演算する。 In the case of the retro-target 200, labeled in FIG. 18 (B1), the brightness threshold To following x, for points in the y direction is calculated (Formula 1), (Equation 2).
これにより、レトロターゲット200の重心位置が求まる。 Accordingly, the center of gravity of the retro-target 200 is determined.

(2)通常、カラーコード付きターゲットCTのカラーコード部には多数のコード色が使用され、色の分散値が大であるという特徴がある。 (2) Normally, the color code of the color-coded targets CT are a number of code colors are used, it is characterized in that the dispersion value of the color is great. このため、分散値の大きい箇所を画像中から見出すことにより、カラーコード付きターゲットCTを検出できる。 Therefore, by finding a large portion of the variance from the image, it can detect color-coded targets CT.
(3)カラーコード付きターゲットCTに使用している3隅のレトロターゲットに異なる色をもたせ、それぞれのレトロターゲットが反射する色を異なるものにする。 (3) remembering different colors 3 corners retro targets are used in the color-coded target CT, each retro target to a color that reflects different. 3隅のレトロターゲットに異なる色をもたせているため、1つのカラーコード付きターゲットに属する各レトロターゲットを判別しやすい。 Since the remembering different colors 3 corners of the retro-targets, easily determine the respective retro targets belonging to one of the color-coded target. レトロターゲットグループ化処理において、多数のレトロターゲットを使用する場合にも、異なる色のレトロターゲットで一番距離が近いものをグループ候補として選択することにより、処理が簡単になる。 In retro-target grouping process, even when using a large number of retro-targets, by most distances in different colors retro target is selected as the group candidates close, processing is simplified.

リファレンスポイントRFとして多数のレトロターゲットを用いる場合には、カラーコード付きターゲットCTのレトロターゲットと単体のレトロターゲットが混在するので、カラーコード付きターゲットCTのレトロターゲットを彩色したレトロターゲットとし、単体のレトロターゲットを白色とすれば、判別し易い。 When using a large number of retro targets as reference points RF, since the retro-target and single retro-targets of the color-coded targets CT are mixed, and retro-targets painted retro-targets of the color-coded targets CT, single retro if the target white, discriminated easily.

ここでは、(1)の例について説明する。 Here, an example of (1). 図17において、レトロターゲット検出処理部111は、カラー画像中から検出した複数のレトロターゲットの座標を読込画像記憶部141に保存する。 17, the retro-target detecting process section 111 stores the coordinates of a plurality of retro-targets detected from the color image in the read image storage section 141.
次に、レトロターゲットグループ化処理部120は、読込画像記憶部141に保存されたレトロターゲットの座標から、探索処理部110で検出したレトロターゲットが同じカラーコード付きターゲットCTに属すると判断されたもの(例えば座標がカラーコード付きターゲットCT内にあるもの)を同一グループに属する候補としてグループ化し、読込画像記憶部141にその候補の組み合わせ(3個1組)をグループとして保存する(S520)。 Next, the retro-target grouping process section 120, a retro target coordinates stored in the read image storage section 141, which retro-targets detected by the search processing unit 110 is determined to belong to the same color-coded target CT (e.g. coordinates are those in the target color-coded CT) grouped as candidates belonging to the same group and stores a combination of the candidate (triplets) as a group read image storage section 141 (S520). 確認は、例えば、検出したカラーコード付きターゲットCT内の3個のレトロターゲット間の距離及び3個のレトロターゲットを結ぶ三角形の頂角を計測することにより可能である(S530参照)。 Confirmation may, for example, by measuring the vertical angle of the triangle formed by connecting the distance and three retro-targets among the three retro-targets in the color-coded targets CT detected (see S530).
さらに、検出したカラーコード付きターゲットCTのパターンをカラーコード付きターゲット対応表142と照合することにより、どの種別のカラーコード付きターゲットであるかを確認する。 Furthermore, by matching the pattern of the detected color-coded targets CT and color-coded target correspondence table 142, confirms whether the color-coded target in any type.

次に、カラーコード付きターゲット検出処理部130は、領域方向検出処理部131において読込画像記憶部141に保存された、レトロターゲットのグループ単位にレトロターゲットの重心位置からカラーコード付きターゲットCTの領域と方向を求める(S530)。 Next, the color-coded target detection processing section 130 is stored in the area direction detection processing unit 131 in the read image storage section 141, a retro each group of the target from the center of gravity of the retro-targets of the color-coded targets CT region determine the direction (S530). この領域と方向を求める前又は後に、色彩検出処理部311で基準色部P2、カラーコード部P3、画像中の測定対象物1の色彩を検出する。 Before or after obtaining the area and direction, the reference color section P2 in the color detection processing section 311, the color code section P3, detects the color of the measurement object 1 in the image. 必要であれば、色彩補正部312で基準色部P2の色を基準にしてカラーコード部P3や画像中の測定対象物1の色彩を補正する。 If necessary, to correct the color of the measured object 1 in the color code section P3 and the image based on the color of the reference color section P2 in the color correction section 312. また、基準にならない印刷色のカラーコード付きターゲットを使用した場合には、その基準色部を併せて補正する。 Also, when using the color-coded target of printing colors which is not the reference corrects together the reference color section. そして確認処理部313において、グループ化が適正に行なわれたか、すなわち、一旦グループ化されたレトロターゲットの重心位置が同じカラーコード付きターゲットCTに属するか否かを確認する。 And in confirmation processing section 313, whether the grouping has been performed properly, i.e., once grouped center of gravity of the retro-target checks whether belonging to the same color-coded target CT. 同じグループに属すると判別された場合は次の識別コード判別処理(S535)に進み、同じグループに属さないと判別された場合には、再度グループ化処理(S520)に戻る。 Proceed to the next discriminating code determining process (S535) if it is determined to belong to the same group, if it is determined not to belong to the same group, the flow returns to again grouping process (S520).

図19、図20にカラーコード付きターゲット領域方向検出処理部131の処理フロー例を示す。 Figure 19 shows a processing flow example of color-coded target area direction detection processing unit 131 in FIG. 20. また、図21、図22でレトロターゲットのコード読み込みを説明する。 Further, FIG. 21, illustrating the code reading retro targets in FIG. ここでは、図3(a)のカラーコード付きターゲットCT1からコードを読み込む手続きについて説明する。 Here, the procedure will be described to read the code from the color-coded target CT1 of FIG. 3 (a).
カラーコード付きターゲットCT1からコードを読み込むには、カラーコード付きターゲットCT1の領域と方向を知る必要があるため、3つの位置検出用レトロターゲットの重心点をR1,R2,R3にラベリングする(図21(a)参照)。 To read the code from the color-coded targets CT1, it is necessary to know the area and the direction of the color-coded target CT1, labeling center of gravity of the three position detection retro-target in R1, R2, R3 (FIG. 21 (a) see).

ラベリング方法は、対象の3つのレトロターゲットの重心点R1〜R3を通る三角形を作成する(S600)。 Labeling method creates a triangle through the center of gravity R1~R3 ​​three retro-targets of interest (S600). 3つのレトロターゲットの重心点R1〜R3の中から適当に1つを選んでT1と仮にラベリングし(S610)、残りの2つの重心点を時計回りにT2,T3と仮にラベリングをする(S612、図21(b)参照)。 Three tentatively labeled as T1 choose one appropriately from the center of gravity R1~R3 ​​retro targets (S610), T2 the remaining two centers of gravity in a clockwise direction, T3 and tentatively labeling (S612, Figure 21 (b) refer).
次に、それぞれの重心点を通る辺をラベリングする。 Then, labeling sides through the respective center of gravity. T1とT2を通る辺をL12、T2とT3を通る辺をL23、T3とT1を通る辺をL31とする(S614、図22(a)参照)。 Sides through the sides of L12, T2 and T3 through the T1 and T2 L23, T3 and as the sides the L31 through T1 (S614, see FIG. 22 (a)).

次に、三角形の内側を各頂点(重心点)から半径R離れた画素値を弧状にスキャンをして、スキャンした範囲で色の変化みる(図22(b)参照)。 Next, the pixel value distant radius R of the inner triangle from the vertex (center of gravity) and a scan arc, see color change in range scanned (see FIG. 22 (b)).
重心点T1では、L12からL31を時計回りに、重心点T2では、L23からL12を時計回りに、重心点T3では、L31からL23を時計回りにスキャンをする(S620〜S625)。 In the center of gravity T1, the L12 from L31 clockwise, the center of gravity T2, the L12 from L23 clockwise, the center of gravity T3, the scan L23 from L31 clockwise (S620~S625).
半径の決め方は、スキャンをする角度に応じて画像上でレトロターゲットのサイズに倍率をかけて決める。 Radius of how to determine the determined over the magnification of the size of the retro-target on the image according to the angle of the scan. レトロターゲットを斜め方向から撮影された場合は楕円になるため、スキャン範囲も楕円形状になる。 To become elliptical when taken retro target from an oblique direction, also becomes elliptical scan range. 倍率は、レトロターゲットのサイズと、レトロターゲット重心位置と基準色部P2の距離によって決められる。 Magnification, the size of the retro-target is determined by the distance of the retro-target centroid position and the reference color section P2.

ラベリングの確認処理は、確認処理部313により行われる。 Check labeling process is performed by the confirmation processing section 313. スキャンの結果に色の変化があった重心点をR1とし、残りの2つの重心点は、色の変化があった重心点から時計回りにラベリングしてR2、R3とする(S630〜S632)。 Scanning the center of gravity there is a color change in the result set to R1, the remaining two centers of gravity is to the labeling clockwise from the center of gravity there is a color change and R2, R3 (S630~S632). この例では、重心点T2をR1、重心点T3をR2、重心点T1をR3とする。 In this example, the center of gravity T2 R1, the center of gravity T3 and R2, the center of gravity T1 and R3. 色の変化があった重心点が1つ、色の変化がない重心点が2つ検出されなかった場合は、レトロターゲットの組み合わせエラーとなり(S633)、3組のレトロターゲットを新たに選出して(S634)、S600に戻る。 One is the center of gravity there is a change in color, if the center of gravity there is no color change is not detected two becomes a combination error of the retro-targets (S633), and newly elected three sets of retro-targets (S634), and returns to S600. このように、処理の結果から、選ばれた3つレトロターゲットが、同じカラーコード付きターゲットCT1に属するか否かも確認できる。 Thus, from the result of the processing, three retro-targets chosen can be also check whether belonging to the same color-coded target CT1. このようにしてレトロターゲットのグループ化が確定する。 Such grouping of retro target is determined in the.
上記のラベリング方法は、図3(a)のカラーコード付きターゲットCT1を例に説明したが、他の、カラーコード付きターゲットCTについても、一部の処理を変えることにより同様の処理ができる。 The above labeling method has been described as an example color-coded target CT1 of FIG. 3 (a), the other, for the color-coded target CT, it is the same processing by changing a part of the processing.

[コードの識別] Identification Code
図17に戻り、識別コード判別部46は、抽出部41で抽出されたカラーコード付きターゲットCT1について、座標変換処理部321においてグループ化されたレトロターゲットの重心位置に基づいて、カラーコード付きターゲットCT1の設計値にあうように座標変換し、次に、コード変換処理部322において、カラーコードを識別し(S535)、コード変換してカラーコード付きターゲットCT1の識別コードを求め(S540)、読込画像記憶部141に保存する(S545)。 Returning to Figure 17, the identification code discrimination section 46, the extraction unit 41 color-coded targets CT1 extracted with, based on the gravity center position of the retro-targets that are grouped in the coordinate conversion processing unit 321, the color-coded target CT1 the coordinate transformation to meet the design value, then, in the code conversion processing section 322 to identify the color code (S535), and code conversion sought identification code of the color-coded target CT1 (S540), the read image stored in the storage unit 141 (S545).

図20でこの処理フローを説明する。 In Figure 20 describes this processing flow. 曲面に貼付された、斜め方向から撮影された等により、形に歪のあるカラーコード付きターゲットの撮影画像を、ラベルR1,R2,R3を用いて、歪のない正面図に座標変換する(S640)。 Affixed to a curved surface, by such captured from an oblique direction, the captured image of the color-coded targets in the form of distortion, by using a labeled R1, R2, R3, coordinate conversion in the front view without distortion (S640 ). 座標変換することより、カラーコード付きターゲットの設計値を参照して、レトロターゲット部P1・基準色部P2・カラーコード部P3・白色部P4を判別しやすくなり、後の処理が進め易くなる。 Than to coordinate transformation, with reference to the design values ​​of the color-coded targets, it makes it easier to determine the retro-target section P1 · reference color section P2 · color code section P3 · white part P4, later processing becomes easier promoted.

次に、座標変換されたカラーコード付きターゲットCT1上で、設計値どおりに白色部P4があるか確認をする(S650)。 Then, on the color-coded target CT1 which is the coordinate transformation, to confirm whether there is a white portion P4 to design values ​​(S650). 設計値どおりでない場合は検出エラーとなる(S633)。 If this is not the design values ​​as a detection error (S633). 設計値どおりに白色部P4がある場合は、カラーコード付きターゲットCT1が検出されたと判断される(S655)。 If there are white part P4 in design values, the color-coded target CT1 is determined to have been detected (S655).

次に、色彩補正され、領域と方向がわかったカラーコード付きターゲットCT1のカラーコードの判別をする。 Next, the color correction, the determination of the color code of the color-coded targets CT1 region and direction found.
カラーコード部P3は、その各単位領域への配色の組み合わせによってコードを表現する。 Color code section P3 expresses the code by the combination of the color scheme for each unit area. 例えば、コード色数がnで単位領域が3個の場合、n×n×nのコードを表せ、他の単位領域に使用されている色を重複して使用しないという条件を課した場合は、n×(n−1)×(n−2)のコードを表せる。 For example, if the code number of colors is three a unit area n, expressed code n × n × n, if imposed the condition that does not use duplicate colors used in other unit areas, n × (n-1) represented the code × (n-2). コード色数がn、単位領域がn個で、色を重複して使用しないという条件を課した場合は、nの階乗通りのコードを表現できる。 Code number of colors n, a unit area of ​​n, if imposed the condition that does not use duplicate colors, can be expressed codes factorial street n.
識別コード判別部46は、コード変換処理部322において、カラーコード部P3における単位領域の配色の組み合わせを、カラーコード付きターゲット対応表142の配色の組み合わせと比較・照合して識別コードを判別する。 Discriminating code determining section 46, the code conversion unit 322, a combination of color of the unit area in the color code section P3, to determine the identification code by comparing and collating the combination of color of the color-coded target correspondence table 142.

色彩の判別方法は、(1)基準色部P2の色とカラーコード部P3の色を比較して決める相対比較方法と、(2)基準色部P2の色と白色部P4の色を使ってカラーコード付きターゲットCT1の色補正を行い、その補正された色でカラーコード部P3のコードの判別をする絶対比較方法の、二つの方法がある。 Method for discriminating colors may (1) and the relative comparison method to determine by comparing the color of the reference color section color and color code section P3 of P2, using the color of (2) the reference color section color P2 and white part P4 performs color correction of the color-coded target CT1, the absolute comparison method of the corrected discrimination code of the color code section P3 with the color, there are two ways. 例えば、カラーコード部P3に使用する色数が少ない場合は基準色を相対比較の比較色として使用し、カラーコード部P3に使用する色数が多い場合は、色を補正するためにキャリブレーション用の色として絶対比較の比較色として使用する。 For example, if the number of colors used in the color code section P3 is small by using the reference color as a reference color of the relative comparison, if the number of colors used in the color code section P3 is large, a calibration in order to correct the color to the color used as the reference color of the absolute comparison. 前述のように、色彩の検出は色彩検出処理部311で、色補正は色彩補正部312で行う。 As described above, the detection of the color in the color detection processing section 311, the color correction is performed by the color correction unit 312.

識別コード判別部46は、コード変換処理部322において、(1)、(2)どちらかの方法を使用して、基準色部P2とカラーコード部P3を検出し(S660、S670)、カラーコード部P3の各色を判別し(図17のS535)、色をコードに変換して、対象のカラーコード付きターゲットCT1の識別コードを求める(S680、図17のS540)。 Discriminating code determining section 46, the code conversion processing section 322, (1), (2) using either of the methods, to detect the reference color section P2 and the color code section P3 (S660, S670), color code to determine the respective color parts P3 (S535 in FIG. 17) converts the color code to determine the identification code of the color-coded target CT1 of the subject (S680, S540 of FIG. 17).
そして画像ごとに、当該画像に含まれるカラーコード付きターゲットCT1の番号をパターン情報記憶部47に登録する(図17のS545)。 And for each image, and it registers the number of the color-coded targets CT1 contained in the image in the pattern information storage unit 47 (S545 in FIG. 17). パターン情報記憶部47に登録されたデータは、標定や三次元計測で使用され、効率化が図られる。 Data registered in the pattern information storage unit 47 is used in orientation or three-dimensional measurement, resulting in an improvement in efficiency.

[三次元計測用パターン投影方法] [Three-dimensional measurement for the pattern projection method]
図23に本実施の形態における三次元計測用パターンの投影方法(計測前準備を行なう)の処理フロー例を示す。 Figure 23 shows a processing flow example of a projection method of a three-dimensional measurement pattern in this embodiment (and prepare prior measurement). 本実施の形態は、プロジェクター12で第1の計測パターン(予備測定用パターン等)を投影し、投影されたパターンの変形に基づき第2の計測パターン(精密測定用パターン等)を形成して投影するものである。 This embodiment projects the projector 12 first measurement pattern (preliminary measurement pattern, etc.), to form a second measurement pattern based on the deformation of the projected pattern (Precision measurement pattern, etc.) projected it is intended to.
まず、パターン記憶部495に測定対象物表面に計測点を表示する計測パターンを複数記憶する(パターン記憶工程:S710)。 First, it stores a plurality of measurement patterns to display the measurement point on the measurement object surface in the pattern storage unit 495 (pattern storage step: S710). 次に、パターン投影制御部493は投影部12に複数の計測パターンのうちの1つを第1の計測パターンとして投影させる(第1の投影工程:S720)。 Then, the pattern projection control unit 493 to project the one of the plurality of measurement patterns to the projection portion 12 as the first measurement pattern (first projection step: S720). 次に、撮像部10は投影工程で投影された第1の計測パターンを撮影する(撮像工程:S730)。 Next, the imaging unit 10 photographs the first measurement pattern projected by the projection step (imaging step: S730). 次に、パターン検出部491は撮像工程により撮影された第1の計測パターンの撮影画像から計測点を検出する(パターン検出工程:S740)。 Then, the pattern detection unit 491 detects the measurement points from the captured image of the first measurement pattern picked up by the image pickup step (pattern detection step: S740). 次に、パターン検出部491はパターン検出工程で検出された第1の計測パターンにおける計測点の変位を検出する(変位検出工程:S750)。 Then, the pattern detection unit 491 detects the displacement of the measurement points in the first measurement pattern detected by the pattern detection step (displacement detection step: S750). 次に、パターン形成部492は検出された第1の計測パターンにおける計測点の変位に基づいて計測点を追加、削除又は変更した第2の計測パターンを形成する(パターン形成工程:S760)。 Next, add the measurement points based on the displacement of the measurement point in the first measurement pattern patterning unit 492 which is detected, to form a second measurement pattern deleted or changed (patterning step: S760). 次に、パターン投影制御部493は投影部12に第2の計測パターンを投影させる(第2の投影工程:S770)。 Next, the pattern projection control unit 493 to project the second measurement pattern in the projection portion 12 (second projection step: S770).
このように、投影装置を活用して、計測前準備を行い、標定又は三次元計測に用いるターゲットパターンを再構成することにより、様々な対象に対して非接触三次元測定を適切化かつ自動化することができる。 Thus, by utilizing a projection device, and prepares previous measurement, by reconstructing a target pattern used for orientation or three-dimensional measurement, suitably of and automated non-contact three-dimensional measurement with respect to various objects be able to.

図24に本実施の形態における三次元計測用パターンの投影方法(カラーコード付きターゲットを投影)の別の処理フロー例を示す。 Figure 24 shows another process flow example of a projection method of a three-dimensional measurement pattern in the present embodiment (the projection of the color-coded targets). 本実施の形態は、プロジェクター12でカラーコード付き標識を含む計測パターンを形成して投影するものである。 This embodiment is designed to project by forming the measurement pattern including a labeled color code the projector 12.
まず、パターン形成部492において、計測位置を示すための位置検出用パターンP1と標識を識別するための複数の色彩が施されたカラーコードパターンP3とを有するカラーコード付き標識CTを含む計測パターンを形成する(パターン形成工程:S810)。 First, the pattern forming section 492, a measurement pattern including a color-coded target CT and a color code pattern P3 having a plurality of colors has been subjected for identifying the position detection pattern P1 and the labeled to indicate the measurement position formation to (pattern forming process: S810). 次に、パターン投影制御部493は投影部12にパターン形成工程で形成された計測パターンを投影する(投影工程:S840)。 Next, the pattern projection control unit 493 projects the measuring pattern formed in the pattern forming process to the projection portion 12 (the projection step: S840). 次に、撮像部10は投影工程により投影された計測パターンを撮影する(撮像工程:S850)。 Next, the imaging unit 10 photographs the measurement pattern projected by the projection step (imaging step: S850). 次に、パターン検出部492は撮像工程により撮影された計測パターンの撮影画像から位置検出用パターンP1とカラーコードパターンP3を検出し、カラーコードを識別する(パターン検出工程:S860)。 Then, the pattern detection unit 492 detects the position detection pattern P1 and the color code pattern P3 from the captured image of the measurement pattern taken by the imaging process, identify the color code (pattern detection step: S860).

このように、カラーコード付きターゲットを使用することにより、各ターゲットを容易に識別でき、広域の測定対象物の画像を自動接続することにより、標定や三次元計測を効率化、自動化することができる。 Thus, by using the color-coded targets, each target can be easily identified, by automatically connecting the image of the wide area of ​​the measuring object, efficient orientation and three-dimensional measurement can be automated .

〔第2の実施の形態〕 Second Embodiment
第1の実施の形態では、計測パターンをパターン形成部で形成する例を説明したが、多数の計測パターンをパターン記憶部に記憶しておき、その中から条件に応じて最も適切な計測パターンをパターン選択部で選択して投影する例を説明する。 In the first embodiment, an example has been described for forming the measurement pattern by the pattern forming unit stores the number of measurement patterns in the pattern storage unit, the most appropriate measurement pattern in accordance with the condition from the illustrating an example of selecting and projecting the pattern selection unit. またパターン形成部で形成した計測パターンをパターン記憶部に記憶することも可能な構成とする。 Also a configuration capable of storing the measurement pattern formed by the pattern forming portion in the pattern storage unit.

図25に本実施の形態における三次元計測用パターン投影装置80Aの構成例を、図26に本実施の形態における三次元計測システム100Aの全体構成例のブロック図を示す。 A configuration example of a three-dimensional measurement pattern projection apparatus 80A of this embodiment in FIG. 25 shows a block diagram of the overall configuration example of a three-dimensional measuring system 100A of the present embodiment in FIG. 26. 第1の実施の形態に比して、計算処理部49において、パターン記憶部495とパターン選択部496が追加されている。 Compared to the first embodiment, the calculation processing unit 49, pattern storage unit 495 and the pattern selection section 496 are added. パターン記憶部495は多数の計測パターン、ランダムパターン、重複撮影範囲表示用パターン、テクスチャー用照明パターン等の各種パターンを記憶する。 Pattern storage unit 495 stores a number of measurement patterns, random patterns, overlap photographing range display pattern, various patterns such as texture for illumination pattern. パターン形成部492で形成した各種パターンも記憶する。 Various patterns formed by the pattern forming section 492 is also stored. パターン選択部496は、パターン記憶部495に記憶された計測パターンの中から投影する計測パターンを適宜選択する。 Pattern selector 496 appropriately selecting the measurement pattern to be projected from the measurement pattern stored in the pattern storage unit 495. パターン投影制御部493は投影部12を制御して、パターン選択部496で選択された計測パターンを投影させる。 Pattern projection control unit 493 controls the projection section 12 to project the measurement pattern selected by the pattern selector 496. パターン検出部491から、第1の計測パターンにおける計測点の変位が大きいと通知を受けたときには、パターン選択部496は、パターン記憶部495に記憶された計測パターンの中から変位部分に位置計測用パターンが多いものを選択して、第3の計測パターンとして選択する。 From the pattern detection unit 491, when receiving the notification and displacement of the measurement points in the first measurement pattern is large, the pattern selecting unit 496, a position measurement at the displacement portion from the measurement pattern stored in the pattern storage unit 495 select the one pattern is large is selected as the third measurement pattern. パターン投影制御部493はパターン選択部496で選択された第3の計測パターンを投影部12に投影させる。 Pattern projection control unit 493 to project the third measurement pattern selected by the pattern selecting unit 496 to the projection portion 12. パターン記憶部495に適当なパターンが見出されない場合には、パターン形成部492は第1の計測パターンを基に変位部分に計測点を追加して新たな第2の計測パターンを形成する。 If not found appropriate pattern in the pattern storage unit 495, the pattern forming section 492 forms the second measurement pattern new by adding measurement point to the displacement portion on the basis of the first measurement pattern. この場合、パターン投影制御部493はパターン形成部492で形成された第2の計測パターンを投影部12に投影させる。 In this case, the pattern projection control unit 493 to project the second measurement pattern formed by the pattern forming section 492 to the projection portion 12.

また、パターン記憶部495はカラーコード付きターゲットCT、単色ターゲットパターンを含む計測パターンを記憶する。 Further, the pattern storage unit 495 stores the measurement pattern comprising color-coded targets CT, a monochromatic target pattern. これらの配置や彩色は多種多様である。 These arrangements and coloring there is a wide variety. パターン選択部496は、パターン記憶部495に記憶された多種多様の計測パターンから投影する計測パターンを適宜選択する。 Pattern selector 496 appropriately selecting the measurement pattern to be projected from a wide variety of measurement pattern stored in the pattern storage unit 495. パターン投影制御部493はパターン選択部496で選択された計測パターンを投影部12に投影させる。 Pattern projection control unit 493 to project the measurement pattern selected by the pattern selecting unit 496 to the projection portion 12. また、パターン記憶部495はカラーコード付きターゲット、単色ターゲットパターンなどのパターン要素を記憶し、パターン形成部492はこれらの要素を用いてパターンを編集したり、形成したりすることができる。 The pattern storage unit 495 stores color-coded target, a pattern elements such as monochromatic target pattern, the pattern forming section 492 may be or edit, forming a pattern by using these elements. パターン形成部が形成した計測パターンはパターン記憶部495に記憶され、パターン投影制御部493はパターン形成部492で形成された計測パターンを投影部12に投影させることもできる。 Measurement pattern in which the pattern forming portion is formed is stored in the pattern storage unit 495, the pattern projection control section 493 may also be projected measurement pattern formed by the pattern forming section 492 to the projection portion 12.

図27に本実施の形態における三次元計測用パターンの投影方法(計測前準備を行なう)の処理フロー例を示す。 Figure 27 shows a processing flow example of a projection method of a three-dimensional measurement pattern in this embodiment (and prepare prior measurement). 本実施の形態は、プロジェクター12で第1の計測パターン(予備測定用パターン等)を投影し、投影されたパターンの変形に基づき第3の計測パターン(精密測定用パターン等)を選択して投影するものである。 This embodiment projects the projector 12 first measurement pattern (preliminary measurement pattern, etc.), by selecting the third measurement pattern based on the deformation of the projected pattern (Precision measurement pattern, etc.) projected it is intended to.
まず、パターン記憶部495に測定対象物表面に計測点を表示する計測パターンを複数記憶する(パターン記憶工程:S710)。 First, it stores a plurality of measurement patterns to display the measurement point on the measurement object surface in the pattern storage unit 495 (pattern storage step: S710). 次に、パターン投影制御部493は投影部12に複数の計測パターンのうちの1つを第1の計測パターンとして投影させる(第1の投影工程:S720)。 Then, the pattern projection control unit 493 to project the one of the plurality of measurement patterns to the projection portion 12 as the first measurement pattern (first projection step: S720). 次に、撮像部10は投影工程で投影された第1の計測パターンを撮影する(撮像工程:S730)。 Next, the imaging unit 10 photographs the first measurement pattern projected by the projection step (imaging step: S730). 次に、パターン検出部491は撮像工程により撮影された第1の計測パターンの撮影画像から計測点を検出する(パターン検出工程:S740)。 Then, the pattern detection unit 491 detects the measurement points from the captured image of the first measurement pattern picked up by the image pickup step (pattern detection step: S740). 次に、パターン検出部491はパターン検出工程で検出された第1の計測パターンにおける計測点の変位を検出する(変位検出工程:S750)。 Then, the pattern detection unit 491 detects the displacement of the measurement points in the first measurement pattern detected by the pattern detection step (displacement detection step: S750). 次に、パターン選択部496は検出された第1の計測パターンにおける計測点の変位に基づいて、パターン記憶部495に記憶された計測パターンから計測点を追加、削除又は変更した第3の計測パターンを選択する(パターン選択工程:S780)。 Then, the pattern selecting unit 496 based on the displacement of the measurement points in the first measurement pattern detected, adding measurement point from stored measurement pattern in the pattern storage unit 495, a third measurement was deleted or changed pattern to select (pattern selection step: S780). 次に、パターン投影制御部493は投影部12に第3の計測パターンを投影させる(第3の投影工程:S790)。 Next, the pattern projection control unit 493 to project the third measurement pattern in the projection portion 12 (third projection step: S790).

図28に本実施の形態における三次元計測用パターンの別の投影方法(カラーコード付きターゲットを投影)の処理フロー例を示す。 Figure 28 shows a processing flow example of another projection method of a three-dimensional measurement pattern in the present embodiment (the projection of the color-coded targets). 本実施の形態は、プロジェクター12でカラーコード付き標識を含む計測パターンを選択して投影するものである。 This embodiment is designed to project by selecting the measurement pattern including a color-coded target projector 12.
まず、パターン記憶部495において、計測位置を示すための位置検出用パターンP1と標識を識別するための複数の色彩が施されたカラーコードパターンP3とを有するカラーコード付き標識CTを含む計測パターンを複数記憶する(パターン記憶工程:S820)。 First, in the pattern storage unit 495, a measurement pattern including a color-coded target CT and a color code pattern P3 having a plurality of colors has been subjected for identifying the position detection pattern P1 and the labeled to indicate the measurement position stores plural (pattern storage step: S820). 次に、パターン選択部496はパターン記憶工程で記憶された複数の計測パターンから投影する計測パターンを選択する(パターン選択工程:S830)。 Then, the pattern selecting unit 496 selects a measurement pattern to be projected from a plurality of measurement patterns stored in the pattern storage step (pattern selection step: S830). 次に、パターン投影制御部493は投影部12にパターン選択工程で選択された計測パターンを投影する(投影工程:S840)。 Then, the pattern projection control unit 493 projects a measurement pattern selected by the pattern selection process in the projection portion 12 (the projection step: S840). 次に、撮像部10は投影工程により投影された計測パターンを撮影する(撮像工程:S850)。 Next, the imaging unit 10 photographs the measurement pattern projected by the projection step (imaging step: S850). 次に、パターン検出部492は撮像工程により撮影された計測パターンの撮影画像から位置検出用パターンP1とカラーコードパターンP3を検出し、カラーコードを識別する(パターン検出工程:S860)。 Then, the pattern detection unit 492 detects the position detection pattern P1 and the color code pattern P3 from the captured image of the measurement pattern taken by the imaging process, identify the color code (pattern detection step: S860).

〔第3の実施の形態〕 Third Embodiment
本実施の形態はカラーコード付きターゲットを用いずに、通常のリファレンスポイント(レトロターゲットやテンプレート)のみを用いる例を示す。 This embodiment shown without the color-coded targets, an example of using only the normal reference point (retro-target or template). これらのリファランスポイントは位置検出用パターンのみからなるもので、通常図18のような白黒のレトロターゲットが使用されるが、単色ターゲットパターンを用いても良い。 These Reference lances points consist solely pattern for position detection but black and white retro target, such as a conventional view 18 is used, it may be used a monochromatic target pattern. パターン形成部492はこれらリファレンスポイントのみからなる、計測パターンを含む各種投影パターンを形成し、パターン記憶部495はこれら各種投影パターンを記憶し、パターン選択部496はこれら各種投影パターンから投影するパターンを選択し、パターン投影制御部493は投影部12を制御してこれら各種投影パターンを投影させ、パターン検出部491はこれらの投影パターンの撮影画像からリファレンスポイント検出する。 Patterning unit 492 consists only of these reference points, to form a variety of projection pattern including a measurement pattern, the pattern storage unit 495 stores these various projection pattern, the pattern selector 496 the pattern to be projected from these various projection pattern selected, the pattern projection control unit 493 controls the projection section 12 to project these various projection pattern, the pattern detection unit 491 detects the reference point from the captured image of the projected pattern. レトロターゲットやテンプレートを用いても、その重心点を検出でき、ステレオ画像において基準点及び対応点として対応させることができるので、計測前準備だけでなく、標定及び三次元計測も可能である。 Be used retro-target and template, the center of gravity can be detected, it is possible to adapt as a reference point and the corresponding point in the stereo image, not only the preparation before measurement, it is also possible orientation and three-dimensional measurement. 図14の処理フロー全体を行うことも可能である。 It is also possible to perform the entire process flow of FIG. 14.
本実施の形態のシステム構成としては、第1、第2の実施の形態に比して、図4において抽出部の構成が検索処理部110だけで良く、簡略化でき、また、識別コード判別部46を省略できる。 The system configuration of this embodiment, as compared with the first and second embodiments, the configuration of the extraction unit may only search processing unit 110 in FIG. 4 can be simplified, also the identification code discrimination section 46 can be omitted. なお、カラーコード付きターゲットを使用しない場合は、広角プロジェクターによって測定対象物の座標が明確なポイントを複数含む撮影画像を撮影するのが良い。 Note that when not using the color-coded target, is good coordinates of the measuring object by a wide-angle projector captures the captured image including a plurality of distinct points.

〔第4の実施の形態〕 Fourth Embodiment
本実施の形態では計測前準備(S255)の段階で概略測定又は測定まで行う方法を説明する。 In this embodiment describes a method of performing up schematic measured or determined at the stage of preparation before measurement (S255). 本実施の形態のシステム構成は、第1又は第2の実施の形態と同様である。 System configuration of this embodiment is the same as the first or second embodiment.
図29に、概略測定の処理フローを示す。 Figure 29 shows a process flow schematic measurements. まず、投影モードを計測モードとして投影部12から測定対象物1に計測準備用パターンを投影し、この投影パターンを撮像部10により撮影して、撮影画像を抽出部41(パターン検出部491)に送信する(S311)。 First, the projection mode to project a measurement preparation pattern from the projection unit 12 to the measuring object 1 as the measurement mode, the projection pattern by imaging by the imaging unit 10, the captured image to the extraction section 41 (pattern detection section 491) to send (S311). 次に、抽出部41(パターン検出部491)にて撮影画像上の計測点の重心位置を検出する(S312)。 Next, to detect the position of the center of gravity of the measurement points on the photographed image by extracting section 41 (pattern detection unit 491) (S312). 次に、ステレオ画像の一方(基準画像)において検出された計測点の重心位置を基準点設定部42で基準点として設定し、ステレオ画像の他方(探索画像)において基準点に対応する対応点を求める(S313)。 Then, the position of the center of gravity of the detected measurement point at one of the stereo images (reference image) is set as a reference point in the reference point setting unit 42, a corresponding point corresponding to the reference point in the other of the stereo images (search image) seek (S313). 次に、標定部44で標定計算をする(S314)。 Next, the orientation calculation in orientation section 44 (S314). 標定は基準点と対応点のペアが6以上あれば可能である。 Orientation is possible if the pair of corresponding points between the reference point 6 or more. 標定結果から、精度の悪い点があった場合には(S315aでNo)、その点を取り除いて(S315)、6点以上のペアを選んで再度、標定計算をしなおす(S314)。 From orientation results, when there is a bad point accuracy by removing (No in S315a), the point (S315), re-select the six or more pairs, again the orientation calculation (S314). 悪い点がなくなるまで、S314,S315を繰り返す。 Until the bad point is no, repeat the S314, S315. 悪い点がなくなれば(S315aでYes)、標定によりカメラ画像とモデル画像との対応関係が定まると共に、悪い点を取り除いた点をリファレンスポイントRFとしてパターン情報記憶部47に登録する。 If there is no bad point (Yes in S315a), along with the corresponding relationship between the camera image and the model image are determined by orientation, it is registered in the pattern information storing unit 47 a point removed bad point as a reference point RF. 次に、登録したリファレンスポイントRFから変形点付近のものを抽出して、測定対象物1の変形点に対応する位置にリファレンスポイントRFを貼り付ける、もしくは、計測準備用パターンにリファレンスポイントRFを追加して新たな計測パターンPを形成する(S316)。 Next, add the extracted ones near the transformation point from a reference point RF registered, paste reference points RF at positions corresponding to the deformation point of the measuring object 1, or the reference points RF in measurement preparation pattern to form a new measurement pattern P to (S316).

仮に、計測準備用パターンの計測点(標定点を含む)数が十分多いときは、この投影した標定点を計測点として計測処理を完了することも可能である。 If, when the number of measurement points (including the orientation points) of measurement preparation pattern is sufficiently large, it is possible to complete the measurement process the projected orientation points as measurement points. この場合、図14のS260以後の処理は必要なくなる。 In this case, S260 after the processing in FIG. 14 is not required.

さらに厳密性を要するときは、概略面計測まで行う。 When further requiring strictness performed until schematic plane measurement. 図30に概略面計測の処理フロー例を示す。 It shows a processing flow example of a schematic plane measured in Figure 30. リファレンスポイント追加した計測パターンを投影するときは、例えば計測モードで行なう。 When projecting the reference point added measurement pattern is carried out, for example, the measurement mode. まず、リファレンスポイントの最外周を計測エリアとする(S317)。 First, the outermost circumference of the reference point and the measurement area (S317). 次に、ステレオマッチングを行なう(S318)。 Next, the stereo matching (S318). 次に、ミスマッチングしている領域を映す(S319)。 Then, reflect the area you are mismatching (S319). 次に、ミスマッチングしている点の箇所にリファレンスポイントを貼り付け、或いは計測パターンにリファレンスポイントを追加して新たな計測パターンを形成する(S319a)。 Then, paste reference point locations of the points that are mismatched, or by adding a reference point to form a new measurement pattern in measurement pattern (S319a).
ここで、タイポイント(接続用:カラーコード化ターゲット)が先に貼ってあれば、計測前準備の処理フロー(S300〜S320)を繰り返すことで、計測前処理でなく、この領域の計測を完了させることも可能である。 Here, tie points: If (connection color coding target) put first, by repeating the measurement preparatory processing flow (S300~S320), rather than pre-measurement processing, completes the measurement of the area it is also possible to.

〔第5の実施の形態〕 Fifth Embodiment
本実施の形態は、パターン投影の回数を増やすものである。 This embodiment is intended to increase the number of pattern projection. 本実施の形態のシステム構成は、第1又は第3の実施の形態と同様である。 System configuration of this embodiment is the same as the first or third embodiment. 例えば、標定点投影を複数回行なっても良く、計測点投影を複数回行なっても良い。 For example, it may be performed multiple times orientation point projection may be performed a plurality of times measurement points projected. また、計測によりミスマッチングが生じた場合には、標定点を増加して再度標定点投影を行い、さらに計測を行なっても良い。 Also, if the mismatching caused by measurement, it performed increased by orientation points projected again orientation point may perform further measurements.

また、以上の実施の形態で説明した三次元計則用パターン投影方法又は三次元計則方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラムとしても実現可能である。 Further, it can also be implemented as a computer-readable program for executing a three-dimensional gauge rule pattern projection method or a three-dimensional gauge law method described in the above embodiments in the computer. プログラムは計算処理部49の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。 The program may be used to accumulate in the internal memory of the calculation processing unit 49, accumulated in the system and out of the storage device may be used, may be used to download from the Internet. また、当該プログラムを記録した記録媒体としても実現可能である。 It is also feasible as a recording medium recording the program.

以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で実施の形態に種々変更を加えられることは明白である。 Having described embodiments of the present invention, the present invention is not limited to the above embodiment, the apparent be added various modifications to the embodiments without departing from the scope of the present invention it is. 例えば、以上の実施の形態では第2の計測パターンの形成に際し、計測点を増加する例を主に説明したが、計測点を減少又は変更することも可能である。 For example, in the above embodiment upon formation of the second measurement pattern, has been mainly described an example of increasing the measurement points, it is possible to reduce or change the measurement point. カラーコード付き標識について、カラーコードの単位領域数を増加する、基準コード部の位置を変更する、レトロターゲット部を大きくする、白色部に英数字を記載するなど図3以外の構成も可能である。 The color-coded target, increasing the number of unit areas of the color code, to change the position of the reference code part, the increased retro-target section, are also possible configurations other than 3, such as described alphanumeric white portion . また、計測パターンについて、典型的には矩形の投影範囲にカラーコード付き標識を4隅に配置し、その内側に単色ターゲットパターンを配置するとしても、単色ターゲットの配置は多様にでき、その内側にカラーコード付き標識を配置しても良い。 Further, the measurement pattern is typically arranged with color codes label the four corners in a rectangular projection area, even placing the monochromatic target pattern on the inner side, the arrangement of the monochromatic target can be varied, on the inner side it may be arranged color-coded labels.

また、一連の撮影画像について、各撮影画像が4個のカラーコード付き標識CTを含むように、かつ隣接し合う撮影画像間では2個のカラーコード付き標識CTを共有するようにして撮影し、隣接し合う撮影画像で共有されたカラーコード付き標識CTの識別コードが一致するように、一連の撮影画像の配列を自動的に定めても良い。 Also, the series of photographed images, such that each photographed image includes labeled CT with four color codes, and in between adjacent captured image captured so as to share the labeled CT with two color codes, as identification code of the color-coded target CT, which is shared by adjacent each other captured images match may define a sequence of a series of captured images automatically. また、ステレオカメラ、プロジェクター、計算処理部は一体的に構成されても良く、分離構成されても良い。 Also, a stereo camera, a projector, the computing unit may be integrally formed, or may be configured separately. また、以上の実施の形態では計算処理部のパターン検出部を対応部内の抽出部、基準点設定部、対応点探索部等と共用する構成としたが、分離構成しても良い。 The extraction unit in the corresponding portion of the pattern detecting portion of the calculation processing unit in the above embodiment, the reference point setting unit, a configuration is shared with the corresponding point searching unit, etc., may also be configured separately.

本発明は、非接触で対象物を三次元計測するシステム、方法に利用される。 The present invention is a system for measuring the object three-dimensional without contact, is utilized in the method.

第1の実施の形態における投影装置の基本構成例のブロック図である。 It is a block diagram of a basic structure of a projection apparatus according to the first embodiment. 第1の実施の形態における三次元計測システムの全体構成例のブロック図である。 It is a block diagram of the overall configuration example of a three-dimensional measurement system of the first embodiment. カラーコード付きターゲットの例を示す図である。 Is a diagram showing an example of color-coded targets. 抽出部及び識別コード判別部の構成例を示す図である。 It is a diagram illustrating a configuration example of the extraction unit and the discriminating code determining section. 第1の実施の形態における三次元計測システムの処理フロー例を示す図である。 It is a diagram depicting a processing flow example of a three-dimensional measurement system of the first embodiment. オーバーラップ撮影の例を示す図である。 Is a diagram illustrating an example of overlap photographing. ステレオカメラで撮影される撮影画像の例を示す図である。 Is a diagram illustrating an example of a captured image captured by the stereo camera. ステレオペア選択のフロー例を示す図である。 It is a diagram showing a flow example of a stereo pair selection. ステレオ画像におけるモデル画像座標系XYZとカメラ座標系xyzの説明図である。 Is an illustration of a model image coordinate system XYZ and camera coordinate system xyz in a stereo image. リファレンスポイントを有するターゲットの例を示す図である。 Is a diagram showing an example of target having reference points. リファレンスポイントの自動対応付けのフロー例を示す図である。 It is a diagram showing a flow example of correspondences of the reference points. ステレオマッチングエリアの自動決定の処理フロー例を示す図である。 It is a diagram illustrating a processing flow example of automatic determination of a stereo matching area. ステレオマッチングエリアの自動決定を説明するための図である。 It is a diagram for explaining the automatic determination of a stereo matching area. 投影装置を利用する計測フローの例を示す図である。 Is a diagram illustrating an example of a measurement flow that uses a projection device. 計測前準備の処理フロー例を示す図である。 It is a diagram illustrating a processing flow example of measurement preparatory. 計測準備用パターンの例を示す図である。 Is a diagram illustrating an example of a measurement preparation pattern. カラーコード付きターゲットの検出のフロー例を示す図である。 It is a diagram showing a flow example of the detection of the color-coded target. レトロターゲットを用いた重心位置検出の説明図である。 It is an explanatory view of a gravity center position detection using a retro-target. カラーコード付きターゲット領域方向検出処理部の処理フロー例を示す図である。 It is a diagram illustrating a processing flow example of color-coded target area direction detection processing section. カラーコード付きターゲット領域方向検出処理部の処理フロー例(続)を示す図である。 Process flow example of color-coded target area direction detection unit is a diagram showing a (Continued). レトロターゲットのコード読み込みを説明するための図(その1)である。 Is a diagram for the code reading is described in the retro-targets (Part 1). レトロターゲットのコード読み込みを説明するための図(その2)である。 Diagram for explaining the code reading retro targets (Part 2). 第1の実施の形態における三次元計測用パターンの投影方法(計測前準備を行なう)の処理フロー例を示す図である。 It is a diagram illustrating a processing flow example of a projection method of a three-dimensional measurement pattern (perform preparatory measurement) in the first embodiment. 第1の実施の形態における三次元計測用パターンの別の投影方法(カラーコード付きターゲットを投影)の処理フロー例を示す図である。 It is a diagram depicting a processing flow example of another projection method of a three-dimensional measurement pattern (projection of the color-coded target) in the first embodiment. 第2の実施の形態における三次元計測用投影装置の構成例を示す図である。 It is a diagram illustrating a configuration example of a three-dimensional measurement projection apparatus according to the second embodiment. 第2の実施の形態における三次元計測システムの全体構成例のブロック図である。 It is a block diagram of the overall configuration example of a three-dimensional measurement system in the second embodiment. 第2の実施の形態における三次元計測用パターンの投影方法(計測前準備を行なう)の処理フロー例を示す図である。 It is a diagram illustrating a processing flow example of a projection method of a three-dimensional measurement pattern (perform preparatory measurement) in the second embodiment. 第2の実施の形態における三次元計測用パターンの別の投影方法(カラーコード付きターゲットを投影)の処理フロー例を示す図である。 It is a diagram depicting a processing flow example of another projection method of a three-dimensional measurement pattern in the second embodiment (projecting a color-coded targets). 第4の実施の形態における概略測定の処理フローを示す図である。 It is a diagram illustrating a processing flow of schematic measured in the fourth embodiment. 第4の実施の形態における概略面計測の処理フローを示す図である・ Fourth - a diagram depicting a processing flow of the outline surface measurement in the embodiment of

符号の説明 DESCRIPTION OF SYMBOLS

1 測定対象物10 撮像部12 投影部13 撮影画像データ記憶部40 対応部41 抽出部42 基準点設定部43 対応点探索部44 標定部45 対応点指示部46 識別コード判別部47 パターン情報記憶部48 撮影・モデル画像表示部48A モデル画像形成部48B モデル画像記憶部49 計算処理部50 表示画像形成部51 三次元座標データ演算部53 三次元座標データ記憶部54 立体的二次元画像形成部55 立体的二次元画像記憶部57 立体的二次元画像表示部60 表示装置70 マッチング処理部80、80A 三次元計測用投影装置100、100A 三次元計測システム110 探索処理部111 レトロターゲット検出処理部120 レトロターゲットグループ化処理部130 カラーコード付きターゲット検出処理部131 カラー 1 the measuring object 10 imaging section 12 projecting portion 13 the captured image data storage unit 40 corresponding portion 41 extracting unit 42 reference point setting section 43 corresponding point search section 44 orientation section 45 corresponding point indicating section 46 discriminating code determining section 47 pattern information storage unit 48 captured model image display section 48A model image forming section 48B model image storage unit 49 computation unit 50 display image forming unit 51 three-dimensional coordinate data calculation section 53 three-dimensional coordinate data storage section 54 stereoscopic two-dimensional image forming section 55 stereoscopic target two-dimensional image storage unit 57 stereoscopic two-dimensional image display unit 60 display unit 70 matching unit 80,80A three-dimensional measurement projection apparatus 100,100A three-dimensional measurement system 110 search unit 111 retro-target detecting process section 120 retro-target grouping processing section 130 color-coded target detection processing section 131 color コード付きターゲット領域方向検出処理部140 画像・カラーパターン記憶部141 読込画像記憶部142 カラーコード付きターゲット対応表200 レトロターゲット204 内部円206 外部円311 色彩検出処理部312 色彩補正部313 確認処理部321 座標変換処理部322 コード変換処理部491 パターン検出部492 パターン形成部493 パターン投影制御部494 色彩修正部495 パターン記憶部496 パターン選択部CT、CT1〜CT3 カラーコード付きターゲットEP エピポーララインL12、L23、L31 辺P 計測パターンP1 位置検出用パターン(レトロターゲット部) Coded target area direction detection processing unit 140 image-color pattern storage section 141 read image storage section 142 color-coded target correspondence table 200 retro-target 204 inner circle 206 outer circle 311 color detection processing section 312 color correction portion 313 confirmation processing unit 321 coordinate converting unit 322 code conversion unit 491 pattern detection section 492 pattern forming section 493 pattern projection control section 494 color correction section 495 pattern storage unit 496 pattern selector CT, CT1 to CT3 color-coded target EP epipolar line L12, L23, L31 sides P measurement pattern P1 for position detection pattern (retro-target section)
P2 基準色パターン(基準色部) P2 reference color pattern (reference color section)
P3 カラーコードパターン(カラーコード部) P3 color code pattern (the color code section)
P4 空パターン(白色部) P4 sky pattern (white part)
Q 計測点R1〜R3 重心点RF リファレンスポイントTo 閾値T1〜T3 仮のラベル Q measurement point R1~R3 ​​center-of-gravity point RF reference point To threshold T1~T3 temporary label

Claims (16)

  1. 測定対象物のステレオ画像を取得して三次元計測を行う三次元計測用投影装置であって、 A three-dimensional measurement projection apparatus which performs three-dimensional measurement of stereo images of the measuring object by obtaining,
    標識の位置を検出するための位置検出用パターンと、前記標識を識別するための複数の色彩が施されたカラーコードパターンと、前記カラーコードパターンの色を相対比較するための又は補正するための基準色パターンとを有するカラーコード付き標識を含む標識パターンをコンピュータ処理で形成するパターン形成部と、 A position detection pattern for detecting the position of the label, the color code pattern having a plurality of colors for identification has been performed a label, the color code pattern colors for relative comparison, or for correcting the a pattern forming unit that forms a labeling pattern in the computer processing including color-coded labels with a reference color pattern,
    前記パターン形成部で形成された前記標識パターンを測定対象物に投影する投影部と、 A projection unit for projecting the labeling pattern formed by the pattern forming unit to the measurement object,
    前記標識パターンを撮影して前記ステレオ画像を取得する撮像部と、 An imaging unit for acquiring the stereo image by capturing the labeling pattern,
    前記撮像部により撮影された前記標識パターンの撮影画像から前記カラーコード付き標識の前記位置検出用パターンと前記カラーコードパターンを検出し、カラーコードを識別するパターン検出部とを備える; Wherein said position detecting pattern of said color-coded label from the captured image of the labeling patterns photographed by the imaging unit detects the color code pattern, and a pattern detecting section for identifying the color code;
    三次元計測用投影装置。 Three-dimensional measurement for the projection device.
  2. 測定対象物のステレオ画像を取得して三次元計測を行う三次元計測用投影装置であって、 A three-dimensional measurement projection apparatus which performs three-dimensional measurement of stereo images of the measuring object by obtaining,
    標識の位置を検出するための位置検出用パターンと、前記標識を識別するための複数の色彩が施されたカラーコードパターンと、前記カラーコードパターンの色を相対比較するための又は補正するための基準色パターンとを有するカラーコード付き標識を含む標識パターンを複数記憶するパターン記憶部と、 A position detection pattern for detecting the position of the label, the color code pattern having a plurality of colors for identification has been performed a label, the color code pattern colors for relative comparison, or for correcting the a pattern storage unit for storing a plurality of labels pattern including a color-coded labels with a reference color pattern,
    前記パターン記憶部に記憶された複数の標識パターンから、投影する標識パターンを選択するパターン選択部と、 A plurality of label patterns stored in the pattern storage unit, and a pattern selector for selecting a marker pattern to be projected,
    前記パターン選択部により選択された前記標識パターンを測定対象物に投影する投影部と、 A projection unit for projecting the labeling pattern selected by the pattern selector to the measurement object,
    前記標識パターンを撮影して前記ステレオ画像を取得する撮像部と、 An imaging unit for acquiring the stereo image by capturing the labeling pattern,
    前記撮像部により撮影された前記標識パターンの撮影画像から前記カラーコード付き標識の前記位置検出用パターンと前記カラーコードパターンを検出し、カラーコードを識別するパターン検出部とを備える; Wherein said position detecting pattern of said color-coded label from the captured image of the labeling patterns photographed by the imaging unit detects the color code pattern, and a pattern detecting section for identifying the color code;
    三次元計測用投影装置。 Three-dimensional measurement for the projection device.
  3. 前記投影部を制御して前記標識パターンを投影させるパターン投影制御部を備え、 Wherein by controlling the projecting portion includes a pattern projection control unit for projecting the labeling pattern,
    前記パターン投影制御部は、前記標識パターンを投影する第1のモードと前記標識パターンと異なる第2のパターンを投影する第2のモードとを切替可能である; The pattern projection control unit can switch the second mode for projecting the first mode and the labeling pattern different from the second pattern projecting the labeling pattern;
    請求項1又は請求項2に記載の三次元計測用投影装置。 Three-dimensional measurement projection apparatus according to claim 1 or claim 2.
  4. 前記パターン形成部は、前記標識パターンに前記位置検出用パターンのみからなる単色ターゲットパターンを追加した第3のパターンを形成し、 The pattern forming unit forms a third pattern that adds a monochromatic target pattern composed of only the position detection pattern on the label pattern,
    前記投影部は前記第3のパターンを投影する; The projection unit to project the third pattern;
    請求項1又は請求項3に記載の三次元計測用投影装置。 Three-dimensional measurement projection apparatus according to claim 1 or claim 3.
  5. 前記パターン記憶部は、前記標識パターンに前記位置検出用パターンのみからなる単色ターゲットパターンを追加した第3のパターンを記憶し、 The pattern storage unit stores a third pattern that adds a monochromatic target pattern composed of only the position detection pattern on the label pattern,
    前記パターン選択部は前記第3のパターンを選択し、 The pattern selector selects the third pattern,
    前記投影部は前記第3のパターンを投影する; The projection unit to project the third pattern;
    請求項2又は請求項3に記載の三次元計測用投影装置。 Three-dimensional measurement projection apparatus according to claim 2 or claim 3.
  6. 前記パターン投影制御部は前記第2のパターンとして計測点をランダムに配置したランダムパターンを使用し、前記ランダムパターンを投影するランダムパターンモードを前記第2のモードとする; The pattern projection control unit uses a random pattern arranged randomly measurement points as said second pattern, a random pattern mode the second mode for projecting the random pattern;
    請求項3に記載の三次元計測用投影装置。 Three-dimensional measurement projection apparatus according to claim 3.
  7. 前記パターン投影制御部は前記第2のパターンとしてステレオ画像の重複範囲を表示する重複撮影範囲表示用パターンを使用し、前記重複撮影範囲表示用パターンを投影する撮影範囲表示モードを前記第2のモードとする; Duplicate shooting range using the display pattern, the overlapping imaging range shooting range display mode the second mode for projecting the display pattern the pattern projection control section for displaying the overlapping range of the stereo image as the second pattern and;
    請求項3に記載の三次元計測用投影装置。 Three-dimensional measurement projection apparatus according to claim 3.
  8. 前記投影部を制御して前記標識パターンを投影させるパターン投影制御部を備え、 Wherein by controlling the projecting portion includes a pattern projection control unit for projecting the labeling pattern,
    前記パターン投影制御部は、前記撮像部に係る焦点距離、撮影距離、基線長、オーバーラップ率のいずれか一つを入力することにより、前記標識パターンの標定点の配置、パターン密度を調整可能である; The pattern projection control unit, a focal length of the imaging unit, Range, base length, by entering one of the overlapping rate, the arrangement of the orientation points of the labeling pattern, the pattern density can be adjusted is there;
    請求項1又は請求項2に記載の三次元計測用投影装置。 Three-dimensional measurement projection apparatus according to claim 1 or claim 2.
  9. 前記パターン投影制御部は、前記第2のパターンとして一様な照明光で対象物を照明するテクスチャー取得用の照明を使用し、前記テクスチャー取得用の照明を行うテクスチャー照明モードを前記第2のモードとする; The pattern projection control unit, the second using the illumination for the texture acquisition to illuminate the object with uniform illumination light as a pattern, the second mode of the texture illumination mode for illuminating for the texture acquisition and;
    請求項1乃至請求項5のいずれか1項に記載の三次元計測用投影装置。 Three-dimensional measurement projection apparatus according to any one of claims 1 to 5.
  10. 前記パターン検出部は、前記テクスチャー照明モードで投影されたパターンの撮影画像から取得された色彩に基づいて、前記投影部により投影するカラーコード付きターゲットの色彩を修正する色彩修正部を有する; The pattern detection unit has on the basis of the color obtained from the captured image of the projected pattern texture illumination mode, color correction unit for correcting the color of the color-coded targets projected by the projection unit;
    請求項9に記載の三次元計測用投影装置。 Three-dimensional measurement projection apparatus according to claim 9.
  11. 請求項1乃至請求項10のいずれか1項に記載の三次元計測用投影装置を備える三次元計測システムであって; A three-dimensional measuring system comprising a three-dimensional measuring projection apparatus according to any one of claims 1 to 10;
    前記三次元計測用投影装置は前記ステレオ画像について標定を行う標定部を有する; The three-dimensional measurement projection apparatus includes an orientation section for performing orientation for the stereo images;
    三次元計測システム。 Three-dimensional measurement system.
  12. 標識の位置を検出するための位置検出用パターンと、前記標識を識別するための複数の色彩が施されたカラーコードパターンと、前記カラーコードパターンの色を相対比較するための又は補正するための基準色パターンとを有するカラーコード付き標識を含む標識パターンをコンピュータ処理で形成するパターン形成工程と、 A position detection pattern for detecting the position of the label, the color code pattern having a plurality of colors for identification has been performed a label, the color code pattern colors for relative comparison, or for correcting the a pattern forming step of forming a label pattern in computer processing including color-coded labels with a reference color pattern,
    前記パターン形成工程で形成された前記標識パターンを測定対象物に投影する投影工程と、 A projection step of projecting the labeling pattern formed by the pattern forming step to the measurement object,
    前記標識パターンを撮影してステレオ画像を取得する撮像工程と、 An imaging step of acquiring the stereo image by capturing the labeling pattern,
    前記撮像工程により撮影された前記標識パターンの撮影画像から前記カラーコード付き標識の前記位置検出用パターンと前記カラーコードパターンを検出し、前記カラーコードを識別するパターン検出工程と、 Detecting the color code pattern and the pattern for position detection of the color-coded label from the captured image of the labeling patterns captured by the imaging step, the pattern detection step of identifying the color code,
    前記パターン検出工程で得られた識別結果を利用して、前記撮像工程で撮影された前記ステレオ画像について標定を行なう標定工程と、 And orientation process by using the identification result obtained by the pattern detection step, the orientation for captured the stereoscopic image by the image pickup step,
    前記測定対象物の三次元計測を行う三次元計測工程とを備える; And a three-dimensional measurement step of performing a three-dimensional measurement of the object to be measured;
    三次元計測用パターン投影方法。 Three-dimensional measurement for the pattern projection method.
  13. 標識の位置を検出するための位置検出用パターンと、前記標識を識別するための複数の色彩が施されたカラーコードパターンと、前記カラーコードパターンの色を相対比較するための又は補正するための基準色パターンとを有するカラーコード付き標識を含む標識パターンを複数記憶するパターン記憶工程と、 A position detection pattern for detecting the position of the label, the color code pattern having a plurality of colors for identification has been performed a label, the color code pattern colors for relative comparison, or for correcting the a pattern storing step of storing a plurality of labels pattern including a color-coded labels with a reference color pattern,
    前記パターン記憶工程で記憶された複数の標識パターンから、投影する標識パターンを選択するパターン選択工程と、 A plurality of label patterns stored in the pattern storing step, a pattern selecting step of selecting a label pattern to be projected,
    前記パターン選択工程で選択された前記標識パターンを測定対象物に投影する投影工程と、 A projection step of projecting the labeling pattern selected by the pattern selection process in the measurement object,
    前記標識パターンを撮影してステレオ画像を取得する撮像工程と、 An imaging step of acquiring the stereo image by capturing the labeling pattern,
    前記撮像工程により撮影された前記標識パターンの撮影画像から前記カラーコード付き標識の前記位置検出用パターンと前記カラーコードパターンを検出し、カラーコードを識別するパターン検出工程と、 Detecting the color code pattern and the pattern for position detection of the color-coded label from the captured image of the labeling patterns captured by the imaging step, the pattern detection identifying a color code,
    前記パターン検出工程で得られた識別結果を利用して、前記撮像工程で撮影された前記ステレオ画像について標定を行なう標定工程と、 And orientation process by using the identification result obtained by the pattern detection step, the orientation for captured the stereoscopic image by the image pickup step,
    前記測定対象物の三次元計測を行う三次元計測工程とを備える; And a three-dimensional measurement step of performing a three-dimensional measurement of the object to be measured;
    三次元計測用パターン投影方法。 Three-dimensional measurement for the pattern projection method.
  14. 前記標識パターンを投影する第1のモードと前記標識パターンと異なる第2のパターンを投影する第2のモードとを切替可能である; Wherein the first mode for projecting the labeling pattern and the second mode for projecting the labeling pattern different from the second pattern is switchable;
    請求項12 又は請求項13に記載の三次元計測用パターン投影方法。 Three-dimensional measurement pattern projection method of claim 12 or claim 13.
  15. 前記パターン形成工程では、前記標識パターンに前記位置検出用パターンのみからなる単色ターゲットパターンを追加した第3のパターンを形成し、 Wherein in the pattern forming step to form a third pattern that adds a monochromatic target pattern composed of only the position detection pattern on the label pattern,
    前記投影工程では前記第3のパターンを投影する; Wherein the projection step for projecting the third pattern;
    請求項12に記載の三次元計測用パターン投影方法。 Three-dimensional measurement pattern projection method of claim 12.
  16. 前記パターン記憶工程では、前記標識パターンに前記位置検出用パターンのみからなる単色ターゲットパターンを追加した第3のパターンを記憶し、 Wherein in the pattern storing step stores a third pattern that adds a monochromatic target pattern composed of only the position detection pattern on the label pattern,
    前記パターン選択工程では前記第3のパターンを選択し、 In the pattern selecting step selects said third pattern,
    前記投影工程では前記第3のパターンを投影する; Wherein the projection step for projecting the third pattern;
    請求項13に記載の三次元計測用パターン投影方法。 Three-dimensional measurement pattern projection method of claim 13.
JP2005289333A 2005-09-30 2005-09-30 Three-dimensional measurement for projection apparatus and system Active JP5002144B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005289333A JP5002144B2 (en) 2005-09-30 2005-09-30 Three-dimensional measurement for projection apparatus and system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005289333A JP5002144B2 (en) 2005-09-30 2005-09-30 Three-dimensional measurement for projection apparatus and system
US11/526,885 US20070091174A1 (en) 2005-09-30 2006-09-26 Projection device for three-dimensional measurement, and three-dimensional measurement system
EP06020585A EP1770356A3 (en) 2005-09-30 2006-09-29 Three-dimensional measurement system with projection device

Publications (3)

Publication Number Publication Date
JP2007101276A JP2007101276A (en) 2007-04-19
JP2007101276A5 JP2007101276A5 (en) 2008-09-11
JP5002144B2 true JP5002144B2 (en) 2012-08-15

Family

ID=38028373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005289333A Active JP5002144B2 (en) 2005-09-30 2005-09-30 Three-dimensional measurement for projection apparatus and system

Country Status (1)

Country Link
JP (1) JP5002144B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218903B2 (en) * 2007-04-24 2012-07-10 Sony Computer Entertainment Inc. 3D object scanning using video camera and TV monitor
DE102007042963A1 (en) * 2007-09-10 2009-03-12 Steinbichler Optotechnik Gmbh Method and apparatus for three-dimensional digitization of objects
JP2011512533A (en) * 2008-02-15 2011-04-21 ピルキングトン・グループ・リミテッドPilkington Group Limited Measurement method of glass surface shape by the reflective optical imaging and optical distortion
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
US8400505B2 (en) 2008-05-19 2013-03-19 Panasonic Corporation Calibration method, calibration device, and calibration system including the device
JP5375479B2 (en) * 2009-09-17 2013-12-25 コニカミノルタ株式会社 Three-dimensional measurement system and three-dimensional measuring method
JP5520562B2 (en) * 2009-10-06 2014-06-11 本田技研工業株式会社 Three-dimensional shape measuring system and the three-dimensional shape measuring method
US9360307B2 (en) * 2010-05-07 2016-06-07 Shenzhen Taishan Online Technology Co., Ltd Structured-light based measuring method and system
JP5966467B2 (en) * 2012-03-15 2016-08-10 株式会社リコー Distance measuring device
JP5921271B2 (en) * 2012-03-19 2016-05-24 株式会社東芝 Object measuring apparatus and the object measuring method
US10186034B2 (en) 2015-01-20 2019-01-22 Ricoh Company, Ltd. Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
JPWO2016158856A1 (en) * 2015-04-02 2018-02-01 株式会社ニコン Imaging system, an imaging apparatus, imaging method, and an imaging program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2565885B2 (en) * 1987-02-04 1996-12-18 日本電信電話株式会社 Space pattern - Nko - de method
JP3696335B2 (en) * 1996-06-12 2005-09-14 株式会社トプコン Correspondence how each measurement point of the plurality of images
DE19638727A1 (en) * 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Method of increasing the significance of the three-dimensional measurement of objects
JP2865168B1 (en) * 1997-07-18 1999-03-08 有限会社アートウイング Operational data creation system
JP2000283735A (en) * 1999-03-29 2000-10-13 Minolta Co Ltd Three-dimensional information input camera
JP2000292135A (en) * 1999-04-07 2000-10-20 Minolta Co Ltd Three-dimensional information input camera
JP4110501B2 (en) * 1999-11-22 2008-07-02 ソニー株式会社 Random pattern generating apparatus and method, the distance image generating apparatus and method, and a program providing medium
JP3819662B2 (en) * 1999-12-24 2006-09-13 三洋電機株式会社 3D modeling apparatus, method, and medium and tertiary shape data recording apparatus, method and medium
DE19963333A1 (en) * 1999-12-27 2001-07-12 Siemens Ag Method for determining three-dimensional surface coordinates
JP2001298655A (en) * 2000-04-13 2001-10-26 Sony Corp Image pickup device, image pickup method and recording medium
JP2001320652A (en) * 2000-05-11 2001-11-16 Nec Corp Projector
JP2001338280A (en) * 2000-05-30 2001-12-07 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional space information input device
JP4599500B2 (en) * 2000-07-04 2010-12-15 株式会社竹中工務店 Coordinate information collection system and the three-dimensional shape estimation system
JP2002191058A (en) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd Three-dimensional image acquisition device and three- dimensional image acquisition method
JP4005395B2 (en) * 2002-03-20 2007-11-07 株式会社トプコン Three-dimensional image display apparatus and method
JP4043931B2 (en) * 2002-12-09 2008-02-06 株式会社リコー Three-dimensional information acquisition system
JP2004220510A (en) * 2003-01-17 2004-08-05 Minolta Co Ltd Three-dimensional shape measuring device, three-dimensional shape measuring method and target mark
US6937349B2 (en) * 2003-05-02 2005-08-30 Mitutoyo Corporation Systems and methods for absolute positioning using repeated quasi-random pattern
JP2005140547A (en) * 2003-11-04 2005-06-02 3D Media Co Ltd 3-dimensional measuring method, 3-dimensional measuring device and computer program
JP2005174151A (en) * 2003-12-12 2005-06-30 Topcon Corp Three-dimensional image display device and method

Also Published As

Publication number Publication date
JP2007101276A (en) 2007-04-19

Similar Documents

Publication Publication Date Title
JP4719753B2 (en) Digital photogrammetric method and apparatus according to the heterologous sensor integrated modeling
AU2007289120C1 (en) Mosaic oblique images and methods of making and using same
JP4473136B2 (en) Obtaining a three-dimensional image by active stereo techniques using locally unique pattern
AU629624B2 (en) A method of surveying for the compilation of detailed three-dimensional topographic data
US8218853B2 (en) Change discrimination device, change discrimination method and change discrimination program
US5867592A (en) Method of utilizing edge images of a circular surface for detecting the position, posture, and shape of a three-dimensional objective having the circular surface part
US6757445B1 (en) Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
JP5467404B2 (en) 3d imaging system
US6781618B2 (en) Hand-held 3D vision system
US20030014224A1 (en) Method and apparatus for automatically generating a site model
CA2078556C (en) Computer assisted video surveying and method therefor
CN101957195B (en) Surveying instrument and method of providing survey data of a target region using a surveying instrument
CN101153796B (en) Surveying method, surveying system and surveying data processing program
US7206080B2 (en) Surface shape measurement apparatus, surface shape measurement method, surface state graphic apparatus
US8107722B2 (en) System and method for automatic stereo measurement of a point of interest in a scene
EP1596330A2 (en) Estimating position and orientation of markers in digital images
JP4886560B2 (en) Information processing apparatus, information processing method
KR100407436B1 (en) Method and apparatus for capturing stereoscopic images using image sensors
Robertson et al. An Image-Based System for Urban Navigation.
US6917702B2 (en) Calibration of multiple cameras for a turntable-based 3D scanner
US20060013474A1 (en) Stereo image measuring device
EP1788345A1 (en) Image processing device and image processing method performing 3d measurement
JP4708752B2 (en) Information processing method and apparatus
JP4226550B2 (en) Three-dimensional measurement data automatic alignment apparatus and method using an optical marker
US8502991B2 (en) Method for the determination of the 3D coordinates of an object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250