JP7243513B2 - Measuring system and measuring method - Google Patents

Measuring system and measuring method Download PDF

Info

Publication number
JP7243513B2
JP7243513B2 JP2019141535A JP2019141535A JP7243513B2 JP 7243513 B2 JP7243513 B2 JP 7243513B2 JP 2019141535 A JP2019141535 A JP 2019141535A JP 2019141535 A JP2019141535 A JP 2019141535A JP 7243513 B2 JP7243513 B2 JP 7243513B2
Authority
JP
Japan
Prior art keywords
search
pattern
codes
unit
code string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019141535A
Other languages
Japanese (ja)
Other versions
JP2020024200A (en
Inventor
豊 加藤
豊男 飯田
均 中塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to US16/529,791 priority Critical patent/US10867225B2/en
Publication of JP2020024200A publication Critical patent/JP2020024200A/en
Application granted granted Critical
Publication of JP7243513B2 publication Critical patent/JP7243513B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本技術は、予め定められた投影パターンを対象物に照射した状態で対象物を撮像した画像に基づいて対象物の位置を計測する計測システムおよび計測方法に関する。 The present technology relates to a measurement system and a measurement method for measuring the position of an object based on an image of the object captured while the object is irradiated with a predetermined projection pattern.

従来から、光学的な手法を用いて対象物の三次元形状を計測する技術が知られている。例えば、特開2012-079294号公報(特許文献1)は、複数種類の符号が二次元に並ぶ投影符号列の各符号に、符号の種類ごとに異なる色または輝度を有する点をシンボルとして割り当てることで得られた二次元の点列を含む投影パターンを被写体に投影し、投影パターンが投影された被写体を撮像することにより得られた撮像画像を用いて被写体の三次元計測を行う画像情報処理装置を開示する。 Conventionally, techniques for measuring the three-dimensional shape of an object using an optical technique have been known. For example, Japanese Unexamined Patent Application Publication No. 2012-079294 (Patent Document 1) assigns a point having a different color or brightness for each code type to each code of a projection code string in which multiple types of codes are arranged two-dimensionally as a symbol. An image information processing device that performs three-dimensional measurement of the subject using the captured image obtained by projecting the projection pattern including the two-dimensional point sequence obtained in step onto the subject and capturing the image of the subject on which the projection pattern is projected. disclose.

特開2012-079294号公報JP 2012-079294 A

上述の特許文献1に開示される方法では、所定数の情報符号列を用いて符号誤り検出を行うことで情報符号列を復元する。しかしながら、所定数の情報符号列を取得できない場合には、目的の情報符号列を復元できない可能性がある。すなわち、周辺探索だけでは、情報符号列を復元できず、計測できない欠損部分が生じ得る。 In the method disclosed in the above-mentioned Patent Literature 1, an information code string is restored by performing code error detection using a predetermined number of information code strings. However, if the predetermined number of information code strings cannot be obtained, there is a possibility that the target information code string cannot be restored. That is, the information code string cannot be restored only by the peripheral search, and an unmeasurable missing portion may occur.

本技術は、予め定められた投影パターンを対象物に照射した状態で対象物を撮像した画像に基づいて対象物の位置を計測する構成において、計測のロバスト性を高める解決手段を提供することを一つの目的とする。 The present technology aims to provide a solution for improving robustness of measurement in a configuration for measuring the position of an object based on an image of the object captured while the object is irradiated with a predetermined projection pattern. one purpose.

本技術の一つの実施形態に従う計測システムは、予め定められた投影パターンを対象物に照射した状態で、対象物を撮像した画像である入力画像を取得する取得部を含む。投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものである。計測システムは、照射された投影パターンに含まれる各基準パターンを入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得する検出部と、投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索する第1の探索部と、投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードをコードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する第2の探索部と、第1の探索部および第2の探索部により探索された、モデルコード列と対応領域との対応関係に基づいて、投影パターンの照射基準面から対象物の各部までの距離を算出する距離算出部とを含む。 A measurement system according to an embodiment of the present technology includes an acquisition unit that acquires an input image that is an image of an object captured while the object is irradiated with a predetermined projection pattern. A projection pattern is obtained by arranging a plurality of types of reference patterns each assigned a unique code according to a predetermined rule. The measurement system searches for each reference pattern included in the irradiated projection pattern in the input image, and acquires the position where each reference pattern is irradiated and a set of codes indicated by the irradiated reference pattern. a first search unit for searching a model code string consisting of a predetermined number of codes included in a unit area set in the projection pattern and a corresponding area exhibiting the same arrangement from the set of codes; For model code strings in which the search for the corresponding region has failed, the number of codes for which the search failed after searching for codes that match each code contained in the model code string from the set of codes is equal to or less than a predetermined number, a second search unit that confirms recognition of the model code string, and the model code string and the corresponding region searched by the first search unit and the second search unit and a distance calculation unit that calculates the distance from the irradiation reference plane of the projection pattern to each part of the object based on the correspondence relationship between .

本開示によれば、モデルコードと対応領域との対応関係を厳密に決定した上で、予め定められた数のコードが不一致であることを許容する緩和された条件下で、対応関係が決定できなかったモデルコードについて対応領域を探索するので、何らかの原因で入力画像にノイズが含まれている場合であっても、対象物までの距離を適切に算出できる。 According to the present disclosure, after strictly determining the correspondence between the model code and the corresponding region, the correspondence can be determined under relaxed conditions that allow mismatches in a predetermined number of codes. Since the corresponding area is searched for the missing model code, the distance to the object can be calculated appropriately even if the input image contains noise for some reason.

第1の探索部および第2の探索部は、入力画像のエピポーララインに沿って探索するようにしてもよい。エピポーララインに沿って探索することで、効率的な探索を実現できる。 The first search section and the second search section may search along epipolar lines of the input image. Efficient search can be realized by searching along the epipolar line.

第2の探索部は、対応領域の探索に失敗したモデルコード列のすべてについて、探索処理を繰返すようにしてもよい。探索処理の繰返しによって、投影パターンの照射基準面から対象物の各部までの距離の算出をより確実に行うことができる。 The second search unit may repeat the search process for all model code strings for which the search for the corresponding region has failed. By repeating the search process, it is possible to more reliably calculate the distance from the irradiation reference plane of the projection pattern to each part of the object.

第2の探索部は、予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返すようにしてもよい。予め定められた数を異ならせることで、誤った探索を防止しつつ、対象物の各部までの距離の算出をより確実に行うことができる。 The second search unit may repeat the search for a code that matches each code contained in the model code string for which the search for the corresponding region has failed by varying the predetermined number. good. By making the predetermined numbers different, it is possible to prevent erroneous searches and more reliably calculate the distance to each part of the object.

本技術の別の実施形態に従う計測方法は、予め定められた投影パターンを対象物に照射した状態で、対象物を撮像した画像である入力画像を取得するステップを含む。投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものである。計測方法は、照射された投影パターンに含まれる各基準パターンを入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得するステップと、投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索するステップと、投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードをコードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定するステップとを含む。 A measurement method according to another embodiment of the present technology includes acquiring an input image that is an image of an object captured while the object is irradiated with a predetermined projection pattern. A projection pattern is obtained by arranging a plurality of types of reference patterns each assigned a unique code according to a predetermined rule. The measurement method includes a step of searching the input image for each reference pattern included in the irradiated projection pattern to obtain a set of codes indicated by the irradiated position of each reference pattern and the irradiated reference pattern. a step of searching a model code string consisting of a predetermined number of codes included in a unit region set in a projection pattern for a corresponding region exhibiting the same arrangement from the set of codes; For the model code string for which the search for the corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and the number of codes for which the search fails in the search is predetermined. and determining the recognition of the model code string if it is less than or equal to the number.

本開示によれば、モデルコードと対応領域との対応関係を厳密に決定した上で、予め定められた数のコードが不一致であることを許容する緩和された条件下で、対応関係が決定できなかったモデルコードについて対応領域を探索するので、何らかの原因で入力画像にノイズが含まれている場合であっても、対象物までの距離を適切に算出できる。 According to the present disclosure, after strictly determining the correspondence between the model code and the corresponding region, the correspondence can be determined under relaxed conditions that allow mismatches in a predetermined number of codes. Since the corresponding area is searched for the missing model code, the distance to the object can be calculated appropriately even if the input image contains noise for some reason.

基準パターンは、入力画像のエピポーララインに沿って探索されてもよい。エピポーララインに沿って探索することで、効率的な探索を実現できる。 The reference pattern may be searched along epipolar lines of the input image. Efficient search can be realized by searching along the epipolar line.

対応領域の探索に失敗したモデルコード列のすべてについて、探索処理が繰返されるようにしてもよい。探索処理の繰返しによって、投影パターンの照射基準面から対象物の各部までの距離の算出をより確実に行うことができる。 The search process may be repeated for all model code strings for which the corresponding region search has failed. By repeating the search process, it is possible to more reliably calculate the distance from the irradiation reference plane of the projection pattern to each part of the object.

計測方法は、予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返すステップをさらに含むようにしてもよい。予め定められた数を異ならせることで、誤った探索を防止しつつ、対象物の各部までの距離の算出をより確実に行うことができる。 The measurement method may further include the step of repeating searches for codes that match each code contained in the model code string for which the search for the corresponding region has failed, with different predetermined numbers. . By making the predetermined numbers different, it is possible to prevent erroneous searches and more reliably calculate the distance to each part of the object.

本技術によれば、予め定められた投影パターンを対象物に照射した状態で対象物を撮像した画像に基づいて対象物の位置を計測する構成において、計測のロバスト性を高めることができる。 According to the present technology, it is possible to improve the robustness of measurement in a configuration for measuring the position of an object based on an image of the object captured while the object is irradiated with a predetermined projection pattern.

本実施の形態に従う計測システムの適用例を示す模式図である。1 is a schematic diagram showing an application example of a measurement system according to an embodiment; FIG. 本実施の形態に従う計測システムを構成する計測ヘッドの構成例を示す模式図である。FIG. 2 is a schematic diagram showing a configuration example of a measurement head that constitutes the measurement system according to the present embodiment; 本実施の形態に従う計測システムに含まれる画像計測装置の構成例を示す模式図である。1 is a schematic diagram showing a configuration example of an image measuring device included in a measuring system according to the present embodiment; FIG. 本実施の形態に従う計測システムの計測ヘッドから照射される投影パターンの一例を示す図である。FIG. 4 is a diagram showing an example of a projection pattern emitted from the measurement head of the measurement system according to the present embodiment; 本実施の形態に従う計測システムが実行する三次元計測の原理を説明するための図である。FIG. 2 is a diagram for explaining the principle of three-dimensional measurement performed by the measurement system according to the present embodiment; FIG. 本実施の形態に従う計測システムによる計測形態の一例を示す模式図である。FIG. 2 is a schematic diagram showing an example of a measurement mode by the measurement system according to the present embodiment; FIG. 図6に示すワークを撮像することで得られる入力画像に対するプリミティブの検出結果の一例を示す図である。7 is a diagram showing an example of primitive detection results for an input image obtained by imaging the work shown in FIG. 6; FIG. 図7(B)に示すプリミティブ検出結果に対応する三次元情報の復元結果の一例を示す図である。8 is a diagram showing an example of a restoration result of three-dimensional information corresponding to the primitive detection result shown in FIG. 7(B); FIG. 図8に示す三次元情報の復元結果に対して三次元情報を推定する処理を説明するための図である。FIG. 9 is a diagram for explaining a process of estimating three-dimensional information with respect to the restoration result of three-dimensional information shown in FIG. 8; 本実施の形態に従う計測システムにおける周辺探索の処理を説明する模式図である。FIG. 10 is a schematic diagram illustrating processing of peripheral search in the measurement system according to the present embodiment; 本実施の形態に従う計測システムにおいて用いられる投影パターンの一例を示す図である。FIG. 4 is a diagram showing an example of projection patterns used in the measurement system according to the present embodiment; FIG. 本実施の形態に従う計測システムにおいて入力画像から検出されたプリミティブから得られるデコード結果の一例を示す図である。FIG. 4 is a diagram showing an example of decoding results obtained from primitives detected from an input image in the measurement system according to the present embodiment; 本実施の形態に従う計測システムにおけるエピポーララインを説明するための図である。FIG. 4 is a diagram for explaining an epipolar line in the measurement system according to the present embodiment; FIG. 本実施の形態に従う計測システムにおいて入力画像から検出されたプリミティブから得られる最終のデコード結果の一例を示す図である。FIG. 5 is a diagram showing an example of final decoding results obtained from primitives detected from an input image in the measurement system according to the present embodiment; 本実施の形態に従う計測システムが提供する三次元情報を推定する処理を実現するための機能構成の一例を示す模式図である。FIG. 2 is a schematic diagram showing an example of a functional configuration for realizing processing for estimating three-dimensional information provided by the measurement system according to the present embodiment; 本実施の形態に従う計測システムが提供する三次元情報を推定する処理手順を示すフローチャートである。4 is a flow chart showing a processing procedure for estimating three-dimensional information provided by the measurement system according to the present embodiment;

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are denoted by the same reference numerals, and the description thereof will not be repeated.

<A.適用例>
まず、本発明が適用される場面の一例について説明する。
<A. Application example>
First, an example of a scene to which the present invention is applied will be described.

図1は、本実施の形態に従う計測システム1の適用例を示す模式図である。図1を参照して、本実施の形態に従う計測システム1は、計測ヘッド10を含む。 FIG. 1 is a schematic diagram showing an application example of a measurement system 1 according to this embodiment. Referring to FIG. 1, measurement system 1 according to the present embodiment includes measurement head 10 .

計測ヘッド10から予め定められた投影パターンPを対象物に照射した状態で、当該対象物を計測ヘッド10で撮像した画像である入力画像2が取得される。典型的には、構造化照明に従う投影パターンPが採用される。すなわち、投影パターンPは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものが採用される。投影パターンPに含まれる各基準パターンは、「プリミティブ」とも称される。 An input image 2, which is an image of the target object captured by the measurement head 10, is obtained while the target object is irradiated with a predetermined projection pattern P from the measurement head 10. FIG. Typically, a projection pattern P according to structured illumination is employed. That is, the projected pattern P employs a pattern in which a plurality of types of reference patterns each assigned a unique code are arranged according to a predetermined rule. Each reference pattern included in the projection pattern P is also called a "primitive".

数値を用いて投影パターンPに含まれる各基準パターンの種類を表現することができる。このような表現の変更をコード化とも称す。図1に示す例においては、投影パターンPをコード化することにより等価な行列Kを生成できる。 The type of each reference pattern included in the projection pattern P can be expressed using numerical values. Such a change of representation is also referred to as encoding. In the example shown in FIG. 1, the equivalent matrix K can be generated by encoding the projection pattern P. In the example shown in FIG.

計測システム1を構成する画像計測装置は、投影パターンPの情報および入力画像2に現れる投影パターンPに対応する濃淡パターンを用いて三次元計測処理を実行する。 The image measurement device that constitutes the measurement system 1 uses the information of the projection pattern P and the grayscale pattern corresponding to the projection pattern P that appears in the input image 2 to perform three-dimensional measurement processing.

画像計測装置は、照射された投影パターンPに含まれる各プリミティブを入力画像2内で探索することで、各プリミティブが照射された位置および当該照射されたプリミティブが示すコードの集合である計測コード列200を取得する。 The image measurement device searches the input image 2 for each primitive included in the projected pattern P that has been irradiated, thereby obtaining a measurement code string that is a set of codes indicated by the irradiated position of each primitive and the code indicated by the irradiated primitive. 200 is obtained.

画像計測装置は、投影パターンPに設定される単位領域(以下、「ワード」とも称す。)に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域(以下、「格子状コードパターン」とも称す。)を計測コード列200から探索する(ステップS1)。図1に示す例では、計測コード列200に対して、格子状コードパターン211,212,213,214の認識を確定できる。 The image measurement apparatus generates a corresponding area (hereinafter referred to as a "lattice pattern") showing the same arrangement as a model code string composed of a predetermined number of codes included in a unit area (hereinafter also referred to as a "word") set in the projection pattern P. (also referred to as "code pattern") is searched from the measurement code string 200 (step S1). In the example shown in FIG. 1, the recognition of lattice code patterns 211, 212, 213, and 214 can be determined for the measurement code string 200. FIG.

但し、計測コード列200には、ワードを構成するプリミティブの一部が探索できず、ワードを再構成できない欠損部分が存在し得る。 However, in the instrumentation code string 200, there may be missing portions where some of the primitives that make up the word cannot be searched and the word cannot be reconstructed.

そこで、画像計測装置は、投影パターンPに含まれるモデルコード列のうちワード(対応領域)の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを計測コード列200から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する(ステップS2)。 Therefore, the image measurement device detects a model code string in which the search for a word (corresponding region) has failed among the model code strings included in the projection pattern P, and adds a code matching each code included in the model code string to the measurement code string. 200, and if the number of unsuccessful codes in the search is equal to or less than a predetermined number, recognition of the model code string is confirmed (step S2).

図1に示す例では、計測コード列200に対して、格子状コードパターン221,222,223,224の各々が囲む領域について、欠損している3つのプリミティブを除く、すべてのプリミティブをモデルワードと対応付けることができる。 In the example shown in FIG. 1, for the instrumentation code string 200, all primitives except for the three missing primitives are used as model words in the regions surrounded by the lattice code patterns 221, 222, 223, and 224. can be associated.

最終的に、画像計測装置は、ステップS1およびステップS2において探索された、モデルコード列とワードとの対応関係に基づいて、投影パターンPの照射基準面から対象物の各部までの距離を算出する。この算出された距離の集合を三次元計測結果画像として表現できる。 Finally, the image measurement device calculates the distance from the irradiation reference plane of the projection pattern P to each part of the object based on the correspondence between the model code string and the word searched in steps S1 and S2. . A set of calculated distances can be expressed as a three-dimensional measurement result image.

本実施の形態に従う画像計測システムは、モデルコードと対応領域との対応関係を厳密に決定した上で、予め定められた数のコードが不一致であることを許容する緩和された条件下で、対応関係が決定できなかったモデルコードについて対応領域を探索するので、何らかの原因で入力画像にノイズが含まれている場合であっても、対象物までの距離を適切に算出できる。 The image measurement system according to the present embodiment strictly determines the correspondence relationship between the model code and the corresponding area, and then performs the correspondence under relaxed conditions that allow a predetermined number of codes to be mismatched. Since the corresponding area is searched for the model code for which the relationship could not be determined, the distance to the object can be calculated appropriately even if the input image contains noise for some reason.

<B.装置構成>
次に、本実施の形態に従う計測システム1を構成する装置構成例について説明する。
<B. Device configuration>
Next, an example of the configuration of devices constituting the measurement system 1 according to the present embodiment will be described.

(b1:計測ヘッド10)
図2は、本実施の形態に従う計測システム1を構成する計測ヘッド10の構成例を示す模式図である。図2を参照して、計測ヘッド10は、処理部11と、投光部12と、撮像部13と、表示部14と、記憶部15とを含む。
(b1: measuring head 10)
FIG. 2 is a schematic diagram showing a configuration example of measurement head 10 that constitutes measurement system 1 according to the present embodiment. Referring to FIG. 2 , measurement head 10 includes processing unit 11 , light projecting unit 12 , imaging unit 13 , display unit 14 and storage unit 15 .

処理部11は、計測ヘッド10における全体処理を司る。処理部11は、典型的には、プロセッサと、プロセッサで実行される命令コードを格納するストレージと、命令コードを展開するメモリとを含む。この場合、処理部11において、プロセッサが命令コードをメモリ上に展開して実行することで各種処理を実現する。処理部11の全部または一部を専用のハードウェア回路(例えば、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)など)を用いて実装してもよい。 The processing unit 11 controls overall processing in the measuring head 10 . The processing unit 11 typically includes a processor, a storage that stores instruction codes to be executed by the processor, and a memory that expands the instruction codes. In this case, in the processing unit 11, the processor expands the instruction code on the memory and executes it, thereby realizing various processes. All or part of the processing unit 11 may be implemented using a dedicated hardware circuit (for example, ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array)).

表示部14は、計測ヘッド10において取得あるいは算出された各種情報を外部へ通知する。 The display unit 14 notifies the outside of various information acquired or calculated by the measurement head 10 .

記憶部15は、撮像部13により撮像された画像や予め設定されるキャリブレーションパラメータなどを格納する。 The storage unit 15 stores images captured by the imaging unit 13, preset calibration parameters, and the like.

通信インターフェイス(I/F)部16は、計測ヘッド10と画像計測装置100との間のデータの遣り取りを担当する。 A communication interface (I/F) unit 16 is in charge of exchanging data between the measuring head 10 and the image measuring apparatus 100 .

(b2:画像計測装置100)
図3は、本実施の形態に従う計測システム1に含まれる画像計測装置100の構成例を示す模式図である。典型的には、画像計測装置100は、汎用コンピュータを用いて実現される。図3を参照して、画像計測装置100は、プロセッサ102と、メインメモリ104と、ストレージ106と、入力部108と、表示部110と、光学ドライブ112と、下位インターフェイス部114と、上位インターフェイス部116とを含む。これらのコンポーネントは、プロセッサバス118を介して接続されている。
(b2: image measuring device 100)
FIG. 3 is a schematic diagram showing a configuration example of image measuring device 100 included in measuring system 1 according to the present embodiment. Typically, image measuring device 100 is implemented using a general-purpose computer. Referring to FIG. 3, image measurement apparatus 100 includes processor 102, main memory 104, storage 106, input unit 108, display unit 110, optical drive 112, lower interface unit 114, and upper interface unit. 116. These components are connected via processor bus 118 .

プロセッサ102は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで構成され、ストレージ106に格納されたプログラム(一例として、OS1060および三次元計測プログラム1062)を読出して、メインメモリ104に展開して実行することで、後述するような各種処理を実現する。 The processor 102 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), etc., reads a program (for example, an OS 1060 and a three-dimensional measurement program 1062) stored in the storage 106, and expands it to the main memory 104. By doing so, various types of processing, which will be described later, are realized.

メインメモリ104は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などの揮発性記憶装置などで構成される。ストレージ106は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの不揮発性記憶装置などで構成される。 The main memory 104 is composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory). The storage 106 is configured by, for example, a nonvolatile storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).

ストレージ106には、基本的な機能を実現するためのOS1060に加えて、画像計測装置100としての機能を提供するための三次元計測プログラム1062が格納される。 The storage 106 stores a three-dimensional measurement program 1062 for providing the functions of the image measuring apparatus 100 in addition to an OS 1060 for realizing basic functions.

入力部108は、キーボードやマウスなどで構成され、ユーザ操作を受付ける。表示部110は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ102からの処理結果などを出力する。 The input unit 108 includes a keyboard, mouse, etc., and receives user operations. A display unit 110 includes a display, various indicators, a printer, and the like, and outputs processing results from the processor 102 and the like.

下位インターフェイス部114は、計測ヘッド10との間のデータの遣り取りを担当する。上位インターフェイス部116は、図示しない上位装置(例えば、PLC(プログラマブルコンピュータ))との間のデータの遣り取りを担当する。 The lower interface unit 114 is in charge of exchanging data with the measuring head 10 . The host interface unit 116 is in charge of exchanging data with a host device not shown (for example, PLC (programmable computer)).

画像計測装置100は、光学ドライブ112を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体115(例えば、DVD(Digital Versatile Disc)などの光学記録媒体)から、その中に格納されたプログラムが読取られてストレージ106などにインストールされる。 The image measuring apparatus 100 has an optical drive 112, and a recording medium 115 (for example, an optical recording medium such as a DVD (Digital Versatile Disc)) storing a computer-readable program non-transitory. is read and installed in the storage 106 or the like.

画像計測装置100で実行される三次元計測プログラム1062などは、コンピュータ読取可能な記録媒体115を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、本実施の形態に従う三次元計測プログラム1062が提供する機能は、OSが提供するモジュールの一部を利用する形で実現される場合もある。 The three-dimensional measurement program 1062 and the like executed by the image measurement apparatus 100 may be installed via the computer-readable recording medium 115, or may be installed by downloading from a server device or the like on the network. good. Also, the functions provided by the three-dimensional measurement program 1062 according to the present embodiment may be realized by using part of the modules provided by the OS.

図3には、プロセッサ102がプログラムを実行することで、画像計測装置100として必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路(例えば、ASICまたはFPGAなど)を用いて実装してもよい。 FIG. 3 shows a configuration example in which the necessary functions of the image measuring apparatus 100 are provided by the processor 102 executing a program. It may be implemented using a hardware circuit (eg, ASIC, FPGA, etc.).

<C.三次元計測>
次に、本実施の形態に従う計測システム1による三次元計測について説明する。本実施の形態においては、構造化照明と称される手法を用いて三次元計測を実現する。構造化照明の手法では、予め定められた投影パターンを対象物に照射するともに、投影パターンが照射された状態で対象物を撮像することで得られる画像(以下、「入力画像」とも称す)に基づいて対象物の位置(投光部または受光部からの距離)を計測する計測システムに関する。すなわち、対象物の形状が計測される。
<C. Three-dimensional measurement>
Next, three-dimensional measurement by measurement system 1 according to the present embodiment will be described. In this embodiment, three-dimensional measurement is realized using a method called structured illumination. In the method of structured illumination, an object is irradiated with a predetermined projection pattern, and an image (hereinafter also referred to as an "input image") obtained by capturing an image of the object while being irradiated with the projection pattern. The present invention relates to a measurement system for measuring the position of an object (distance from a light projecting part or a light receiving part) based on the above. That is, the shape of the object is measured.

本実施の形態においては、構造化照明の一例として、予め定められた投影パターン(典型的には、濃淡パターン)をもつ計測光が照射する方法を採用する。 In this embodiment, as an example of structured illumination, a method of irradiating measurement light having a predetermined projection pattern (typically, a light and shade pattern) is adopted.

本実施の形態に従う計測システム1は、予め定められた投影パターンを投光部12から対象物に照射した状態で、当該対象物を撮像した画像である入力画像を取得する取得部に相当する撮像部13を有している。以下の説明においては、投光部12の照射面を投影パターンPの「照射基準面」とみなす。 Measurement system 1 according to the present embodiment acquires an input image, which is an image of an object captured in a state in which a predetermined projection pattern is emitted from light projecting unit 12 onto the object. It has a part 13 . In the following description, the irradiation plane of the light projecting unit 12 is regarded as the "irradiation reference plane" of the projection pattern P. As shown in FIG.

計測システム1において、計測ヘッド10に含まれる投光部12と撮像部13との間でキャリブレーションが実行されており、投光部12および撮像部13の光学パラメータおよび両者を関連付ける行列は予め決定されている。投光部12および撮像部13の光学パラメータは、いずれも同じ基準点に基づいて決定されており、投光部12の投影面の高さを指定すれば、投光部12から照射される投影パターンが撮像部13の受光面上のどの画素に対応するのかを算出できる。 In the measurement system 1, calibration is performed between the light projecting unit 12 and the image capturing unit 13 included in the measuring head 10, and the optical parameters of the light projecting unit 12 and the image capturing unit 13 and the matrix that associates the two are determined in advance. It is The optical parameters of the light projecting unit 12 and the imaging unit 13 are both determined based on the same reference point. It is possible to calculate which pixel on the light receiving surface of the imaging unit 13 the pattern corresponds to.

投光部12から照射される投影パターンは、投光部12の光軸に対する対象物の位置や傾きに応じて大きさや位置(隣接する要素間の間隔の伸縮)が変化することになり、このような情報に基づいて、三角測量の原理によって、対象物の形状を計測できる。 The projection pattern emitted from the light projecting unit 12 changes in size and position (expansion and contraction of the space between adjacent elements) according to the position and inclination of the object with respect to the optical axis of the light projecting unit 12. Based on such information, the shape of the object can be measured by the principle of triangulation.

図4は、本実施の形態に従う計測システム1の計測ヘッド10から照射される投影パターンの一例を示す図である。図5は、本実施の形態に従う計測システム1が実行する三次元計測の原理を説明するための図である。 FIG. 4 is a diagram showing an example of a projection pattern emitted from measurement head 10 of measurement system 1 according to the present embodiment. FIG. 5 is a diagram for explaining the principle of three-dimensional measurement performed by measurement system 1 according to the present embodiment.

計測ヘッド10の投光部12からは、例えば、図4に示すような投影パターンPを含む計測光を対象物に照射する。計測ヘッド10の撮像部13は、投影パターンPが投影された状態で対象物を撮像する。 The light projecting unit 12 of the measurement head 10 irradiates the object with measurement light including a projection pattern P as shown in FIG. 4, for example. The imaging unit 13 of the measurement head 10 images the object with the projection pattern P projected thereon.

図5に示す投影パターンPは、空間コードを格子状に配置したもの(以下、「格子状コード」とも称す。)であって、所定方向において所定長のパターンについて自己相関が生じないような固有のコードが割当てられている。より具体的には、投影パターンPは、複数種類のプリミティブ(基準パターンに相当)の組合せによって規定される。図5(A)には、4種類のプリミティブが示される。各プリミティブは、それぞれに割当てられたコード(図5(A)に示す例では、1~4の4つの数値)を示す。 The projected pattern P shown in FIG. 5 is a spatial code arranged in a lattice (hereinafter also referred to as a "lattice code"), and is a unique pattern that does not generate autocorrelation for a pattern of a predetermined length in a predetermined direction. code has been assigned. More specifically, the projected pattern P is defined by a combination of multiple types of primitives (corresponding to reference patterns). FIG. 5A shows four types of primitives. Each primitive indicates a code assigned to it (four numerical values 1 to 4 in the example shown in FIG. 5A).

各プリミティブは、4つの大きな正方形Qa~Qdと、中心部に位置する1つの小さな正方形Qe)とで構成される。正方形Qa~Qdの各々は、プリミティブ位置Rがコーナとなるように配置されている。プリミティブ位置Rは、小さな正方形Qeの中心位置でもある。 Each primitive consists of four large squares Qa-Qd and one small square Qe located in the center. Each of the squares Qa to Qd is arranged so that the primitive position R is the corner. The primitive position R is also the center position of the small square Qe.

図5(A)に示すように、大きな正方形Qa~Qdの交点(格子のコーナ一点)がプリミティブ位置Rと定義される。なお、プリミティブ位置Rについての大きさおよび形状については限定されない。プリミティブの各々が三次元点の1つとして復元される。 As shown in FIG. 5A, a primitive position R is defined as an intersection of large squares Qa to Qd (one corner point of the grid). Note that the size and shape of the primitive position R are not limited. Each primitive is reconstructed as one of the 3D points.

図5(A)に示すように、プリミティブ位置Rが「白」のときp=1とし、「黒」のときp=0とし、プリミティブ位置Rの左上の大きい正方形Qbが「白」のときp=1とし、「黒」のときp=0と表現する。プリミティブの種類は、2p+pと数値表現できる。 As shown in FIG. 5A, p 0 =1 when the primitive position R is “white”, p 0 =0 when it is “black”, and the large square Qb on the upper left of the primitive position R is “white”. p 1 =1 when black, and p 1 =0 when black. The type of primitive can be numerically expressed as 2p 1 +p 0 .

図5(B)には、投影パターンP(図4参照)の部分に含まれるプリミティブの種類を数値で表現したものである。すなわち、投影パターンPに含まれる各プリミティブの種類を特定し、各特定したプリミティブの種類を数値で表現することにより、投影パターンPと等価な行列Kを生成できる。 FIG. 5B shows numerical values representing the types of primitives included in the projection pattern P (see FIG. 4). That is, a matrix K equivalent to the projection pattern P can be generated by specifying the type of each primitive included in the projection pattern P and expressing the specified type of each primitive with a numerical value.

以下の説明においては、投影パターンPの面内方向をX方向およびY方向と規定するとともに、光軸方向(高さ)方向をZ方向と規定する。 In the following description, the in-plane directions of the projection pattern P are defined as the X direction and the Y direction, and the optical axis direction (height) direction is defined as the Z direction.

図5(C)には、図5(B)に示す行列Kの部分行列を示す。行列Kに設定される所定の大きさ(ワード高さHword×ワード幅Wword)の部分行列を想定する。このような部分行列を「ワード」とも称する。すなわち、各ワードは、所定数のプリミティブの種類の組合せ(図5(C)に示す例では、3×3)によって規定される。投影パターンPは、すべてのワードの各々がユニークとなるように、プリミティブが配置されることで生成される。 FIG. 5(C) shows a submatrix of the matrix K shown in FIG. 5(B). Assume a submatrix of a given size (word height H word × word width W word ) set in the matrix K. Such a submatrix is also called a "word". That is, each word is defined by a predetermined number of combinations of primitive types (3×3 in the example shown in FIG. 5(C)). The projected pattern P is generated by arranging the primitives so that each of all words is unique.

投影パターンPが対象物に照射した状態で撮像することで取得される入力画像から、行列Kに含まれるすべてのワードが抽出される。なお、プリミティブを抽出して、ワードを特定あるいは再構成する処理を(ワードの)「デコード」とも称す。 All the words contained in the matrix K are extracted from an input image obtained by capturing an object while the projection pattern P is irradiated onto the object. Note that the process of extracting primitives and identifying or reconstructing words is also called (word) "decoding".

図5(C)には、抽出された3つのワード(ワードW1,W2,W3)を示している。入力画像に写るパターンからすべてのワードを抽出したときに、各抽出したワード中に部分行列の数値の並びがユニークであれば、そのワードのパターン中での位置が特定される。すなわち、投影パターンPにおける位置(ワードの位置)を特定できる。 FIG. 5C shows three extracted words (words W1, W2, W3). When all words are extracted from the pattern appearing in the input image, if each extracted word has a unique sequence of numerical values in the submatrix, the position of the word in the pattern is specified. That is, the position (word position) in the projection pattern P can be specified.

計測ヘッド10(投光部12)から投影パターンPを照射する場合において、対象物の表面形状に応じて、照射された像から特定されるワードの位置は変化することになる。 When the projection pattern P is irradiated from the measurement head 10 (projection unit 12), the position of the word specified from the irradiated image changes according to the surface shape of the object.

このような投影パターンPを対象物に照射した状態で対象物を撮像して得られる画像に含まれるプリミティブから規定されるワードの大きさおよび隣接するワード間の位置ずれに基づいて、計測ヘッド10から対象物の各部までの距離および対象物の三次元形状を計測できる。 Based on the size of a word defined from primitives included in an image obtained by capturing an image of an object while irradiating the object with the projection pattern P and the displacement between adjacent words, the measurement head 10 to each part of the object and the three-dimensional shape of the object can be measured.

例えば、図5(C)に示す例においては、隣り合うワードW1~W3は一部のプリミティブを共有している。 For example, in the example shown in FIG. 5C, adjacent words W1 to W3 share some primitives.

画像計測装置100(図2参照)は、それぞれの計測ヘッド10から出力される画像に対して、プリミティブの抽出処理、ならびに、抽出されたプリミティブにより特定されたワードの位置および大きさの評価処理を実行することで、対象物の三次元形状の計測結果を出力する。 The image measurement device 100 (see FIG. 2) performs primitive extraction processing and evaluation processing of the position and size of the word specified by the extracted primitive for the image output from each measurement head 10. By executing it, the measurement result of the three-dimensional shape of the object is output.

なお、図5(A)には、4種類のプリミティブを使用する例を示すが、プリミティブの種類数は4種類に限定されない。また、図5(A)に示すようなプリミティブの形状および色に限定されることなく、任意の形状および色を採用できる。 Although FIG. 5A shows an example using four types of primitives, the number of types of primitives is not limited to four. Also, any shape and color can be adopted without being limited to the shape and color of the primitive as shown in FIG.

また、プリミティブの検出手法としては、各プリミティブをモデルとしたパターンマッチングや、黒画素方向/白画素方向および中央値の色を条件とするフィルタ処理などを採用できる。 As a method for detecting primitives, pattern matching using each primitive as a model, filter processing using black pixel direction/white pixel direction and median color as conditions, and the like can be adopted.

例えば、5M画素のカメラ(≒2500×2000画素)を採用し、その視野を視野500mm×400mmとする。ここで、1つのプリミティブが5画素で形成され、1ワードが5×5(計25個)のプリミティブにより構成される場合を想定する。 For example, a camera with 5M pixels (≈2500×2000 pixels) is adopted and its field of view is assumed to be 500 mm×400 mm. Here, it is assumed that one primitive is made up of 5 pixels and one word is made up of 5×5 (total 25) primitives.

この場合には、プリミティブのピッチは、約1mm(=500mm/(2500画素/5画素))となり、最小検出幅は5mm(=1mm×5画素)となる。1つのワードを検出するためには、5×5画素が必要であるので、投光部12と撮像部13との間の対応付けには、5mm×5mmの面積が必要となる。なお、三次元情報の空間分解能(X-Y方向)」は、プリミティブの単位(この例では、1mm×1mm)となる。 In this case, the primitive pitch is about 1 mm (=500 mm/(2500 pixels/5 pixels)) and the minimum detection width is 5 mm (=1 mm×5 pixels). Since 5×5 pixels are required to detect one word, an area of 5 mm×5 mm is required for the correspondence between the light projecting unit 12 and the imaging unit 13 . Note that the spatial resolution (XY direction) of the three-dimensional information is the primitive unit (1 mm×1 mm in this example).

なお、以下の説明においては、復元された(あるいは、復元されるべき)三次元空間上の点の集合を「点群」とも称す。すなわち、「点群」は、各プリミティブに対応して計算される(あるいは、計算されるべき)三次元空間上の点の集合を意味する。 In the following description, a set of points on the three-dimensional space that have been restored (or should be restored) will also be referred to as a "point group". That is, a "point group" means a set of points on a three-dimensional space that are calculated (or should be calculated) corresponding to each primitive.

<D.解決すべき課題および解決手段>
次に、本実施の形態に従う計測システム1が解決すべき課題および解決手段について説明する。
<D. Problems to be solved and solutions>
Next, problems to be solved by the measurement system 1 according to the present embodiment and means for solving the problems will be described.

図6は、本実施の形態に従う計測システム1による計測形態の一例を示す模式図である。図6を参照して、平坦状のワーク4の三次元形状の測定を想定する。平坦状のワーク4の上面には、所定幅を有する突起部5が形成されている。図6に示す例においては、突起部5の幅は、図5(C)において説明したワードを再構成するために必要な距離(ワード幅Wword)より狭いとする。すなわち、突起部5の露出面に照射されて現れるパターンと、突起部5以外のワーク4の露出面に照射されて現れるパターンとの間にはギャップが生じるとともに、現れるプリミティブの大きさなども異なったものとなる。 FIG. 6 is a schematic diagram showing an example of a measurement mode by measurement system 1 according to the present embodiment. With reference to FIG. 6, it is assumed that the three-dimensional shape of a flat workpiece 4 is to be measured. A projecting portion 5 having a predetermined width is formed on the upper surface of the flat workpiece 4 . In the example shown in FIG. 6, the width of the protrusion 5 is assumed to be narrower than the distance (word width W word ) required to reconstruct the word described in FIG. 5C. That is, there is a gap between the pattern appearing on the exposed surface of the projecting portion 5 and the pattern appearing on the exposed surface of the work 4 other than the projecting portion 5, and the sizes of the primitives appearing are also different. It becomes a thing.

その結果、検出されたプリミティブの種類から再構成されるワードは、いずれのプリミティブ種類の組合せにも合致しなくなり、パターン中の各ワードの位置を特定できない。その結果、突起部5の形状情報を取得できない(高さ情報が欠損する)状態になる。 As a result, the words reconstructed from the detected primitive types will not match any combination of primitive types, and the position of each word in the pattern cannot be determined. As a result, the shape information of the protrusion 5 cannot be obtained (height information is lost).

図7は、図6に示すワークを撮像することで得られる入力画像に対するプリミティブの検出結果の一例を示す図である。図7(A)には、平坦部を視野とする入力画像に対するプリミティブの検出結果の一例を示し、図7(B)には、凸部を視野とする入力画像に対するプリミティブの検出結果の一例を示す。 FIG. 7 is a diagram showing an example of primitive detection results for an input image obtained by imaging the work shown in FIG. FIG. 7A shows an example of primitive detection results for an input image whose field of view is a flat portion, and FIG. 7B shows an example of primitive detection results for an input image whose field of view is a convex portion. show.

図7(A)を参照して、計測面が平坦であれば、ワードの再構成に必要な数のプリミティブを検出できる。これによって、投光部12と撮像部13との間を対応付けることができるので、各点について三次元情報を復元できる。 Referring to FIG. 7A, if the measurement surface is flat, the number of primitives required for word reconstruction can be detected. As a result, the light projecting unit 12 and the imaging unit 13 can be associated with each other, so that three-dimensional information can be restored for each point.

これに対して、図7(B)に示すように、計測面にワード幅以下の凹凸がある場合であって、段差が相対的に大きい場合には、段差により生じるプリミティブの歪み、コントラストの低下、相対的に大きな視差の発生などにより、プリミティブの検出に失敗する(図7(B)の「プリミティブ検出不可」の領域)。この結果、ワードの再構成に必要な数のプリミティブが揃わないので、投光部12と撮像部13との間を対応付けることができず、プリミティブの検出に失敗した領域だけではなく、その周辺も含めて、点群の三次元情報を復元できないことになる(図7(B)の「点群欠損」の領域)。このように、点群欠損の領域について検出されるコードは不完全なコードとなっている。 On the other hand, as shown in FIG. 7B, when the measurement surface has unevenness equal to or smaller than the word width and the step is relatively large, the distortion of the primitive caused by the step and the reduction in contrast , the occurrence of relatively large parallax, etc., the detection of primitives fails (area of "primitive detection not possible" in FIG. 7B). As a result, since the number of primitives required for word reconstruction is not available, the correspondence between the light projecting unit 12 and the image capturing unit 13 cannot be established, and not only the area where the primitive detection fails but also the surrounding area is affected. Including, the three-dimensional information of the point cloud cannot be restored (area of "missing point cloud" in FIG. 7(B)). In this way, the code detected for the point cloud defect area is an incomplete code.

図8は、図7(B)に示すプリミティブ検出結果に対応する三次元情報の復元結果の一例を示す図である。平坦状のワーク4に形成された突起部5の幅がワードを再構成するために必要な幅に満たない場合には、図8に示すように、突起部5の周辺については、点群の三次元情報が存在しない(点群欠損の領域)となる。 FIG. 8 is a diagram showing an example of a restoration result of three-dimensional information corresponding to the primitive detection result shown in FIG. 7(B). When the width of the protrusion 5 formed on the flat workpiece 4 is less than the width required to reconstruct the word, as shown in FIG. Three-dimensional information does not exist (area of point cloud loss).

図9は、図8に示す三次元情報の復元結果に対して三次元情報を推定する処理を説明するための図である。図9に示す例において、点群欠損となった領域については、ワードを再構成できるだけのプリミティブを検出できていないが、実際には、4つのプリミティブの検出には成功している。本実施の形態に従う計測システム1は、このような点群欠損となった領域内で検出されたプリミティブを、近傍のプリミティブの情報を用いて救済することで、点群の三次元情報を推定する。 FIG. 9 is a diagram for explaining the process of estimating three-dimensional information for the restoration result of the three-dimensional information shown in FIG. In the example shown in FIG. 9, in the area where the point group is missing, primitives enough to reconstruct a word cannot be detected, but actually four primitives are successfully detected. The measurement system 1 according to the present embodiment recovers the primitives detected in such a point cloud missing region using information of neighboring primitives, thereby estimating the three-dimensional information of the point cloud. .

すなわち、本実施の形態に従う計測システム1は、このような、投影パターンPに含まれる単一のワードの大きさより変化幅の小さい部分(点群欠損領域)などについて、三次元情報を推定する処理を提供する。 That is, the measurement system 1 according to the present embodiment performs a process of estimating three-dimensional information for such a portion (point cloud missing region) having a width of change smaller than the size of a single word included in the projection pattern P. I will provide a.

なお、図9において、X1は、入力画像上の点群欠損領域のうちプリミティブが検出できている右側の境界を示し、X2は、入力画像上の点群の三次元情報を復元できている領域(ワードを再構成できている領域)の左側の境界を示す。 In FIG. 9, X1 indicates the right boundary of the missing point cloud region on the input image where primitives can be detected, and X2 indicates the region where the three-dimensional information of the point cloud on the input image can be restored. Indicates the left boundary of (region where words can be reconstructed).

図10は、本実施の形態に従う計測システム1における周辺探索の処理を説明する模式図である。図10には、照射されたパターンから検出された各プリミティブをコード化した結果の一例を示す。すなわち、検出された各プリミティブの種類を対応する符号で表現した例を示す。 10A and 10B are schematic diagrams for explaining the peripheral search processing in the measurement system 1 according to the present embodiment. FIG. 10 shows an example of the result of coding each primitive detected from the illuminated pattern. That is, an example is shown in which the types of detected primitives are represented by corresponding codes.

単なる周辺探索では、任意の注目プリミティブを基準にして、上下左右で隣接しているプリミティブを検出することでワードを復元する。周辺探索の範囲を広くすれば、デコード処理に時間を要する。また、隣接するプリミティブが欠損している場合、周辺探索ではワードを復元することができない。そこで、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理を適用することで、隣接するプリミティブが欠損している場合であっても、デコード処理が適切に実行されるようにする。 In a simple neighborhood search, a word is restored by detecting primitives that are adjacent above, below, left, and right with respect to an arbitrary primitive of interest. If the peripheral search range is widened, the decoding process takes time. Also, if adjacent primitives are missing, the neighborhood search cannot recover the word. Therefore, by applying the process of estimating the three-dimensional information provided by the measurement system 1 according to the present embodiment, the decoding process can be appropriately executed even when the adjacent primitive is missing. do.

<E.推定処理>
次に、本実施の形態に従う計測システム1による三次元情報を推定する処理(以下、単に「推定処理」と称することもある。)の処理手順について説明する。
<E. Estimation processing>
Next, a processing procedure for estimating three-dimensional information (hereinafter sometimes simply referred to as “estimation processing”) by measurement system 1 according to the present embodiment will be described.

図11は、本実施の形態に従う計測システム1において用いられる投影パターンの一例を示す図である。以下の説明においては、一例として、図11(A)に示すような投影パターンPを照射する場合を想定する。図11(B)に示すように、図11(A)の投影パターンPに対応するプリミティブが示すコード(一例として、0~3のいずれかの値)のコード列を示す。図11(B)に示すコード列に設定される任意のワードを「モデルワード」とも称す。 FIG. 11 is a diagram showing an example of projection patterns used in measurement system 1 according to the present embodiment. In the following description, as an example, it is assumed that a projection pattern P as shown in FIG. 11A is emitted. FIG. 11(B) shows a code string of codes (for example, any value from 0 to 3) indicated by the primitive corresponding to the projection pattern P in FIG. 11(A). An arbitrary word set in the code string shown in FIG. 11B is also called a "model word".

ここで、投光部12および撮像部13は、各々の光軸が平行であるとともに、それぞれの光軸はX軸と平行であるとする。また、複数のプリミティブで構成されるワードのサイズは3×3であるとする。 Here, it is assumed that the optical axes of the light projecting section 12 and the imaging section 13 are parallel to each other and parallel to the X-axis. It is also assumed that the size of a word composed of a plurality of primitives is 3×3.

ワードを再構成する処理(格子状コードパターンの認識アルゴリズム)においては、入力画像全体に対してプリミティブの検出処理が先に実行され、続いて、近傍のプリミティブ同士を対応付けることでワードを再構成する。 In the word reconstruction process (lattice code pattern recognition algorithm), primitive detection processing is first performed on the entire input image, and then words are reconstructed by associating neighboring primitives. .

図12は、本実施の形態に従う計測システム1において入力画像から検出されたプリミティブから得られるデコード結果の一例を示す図である。 FIG. 12 is a diagram showing an example of decoding results obtained from primitives detected from an input image in measurement system 1 according to the present embodiment.

対象物の露出面が投光部12および撮像部13の光軸に垂直な平面であれば、撮像部13により撮像される入力画像に現れるパターンは、図11(A)に示されるような歪みのないパターンとなる。一方、対象物の露出面に凹凸が存在する場合には、図12に示すように、検出されたプリミティブの位置はエピポーララインの方向にずれることになる。さらに、遮へいや潰れなどの光学的な要因により、検出できないプリミティブ(プリミティブの欠損;図12に示すハッチングされた数字の部分)が生じ得る。 If the exposed surface of the object is a plane perpendicular to the optical axes of the light projecting unit 12 and the imaging unit 13, the pattern appearing in the input image captured by the imaging unit 13 is distorted as shown in FIG. There is no pattern. On the other hand, if the exposed surface of the object has unevenness, the position of the detected primitive shifts in the direction of the epipolar line, as shown in FIG. Furthermore, optical factors such as shielding and crushing can cause undetectable primitives (missing primitives; hatched numerals shown in FIG. 12).

図13は、本実施の形態に従う計測システム1におけるエピポーララインを説明するための図である。図13を参照して、投光部12の視野と撮像部13の視野との重複領域内において、対象物が奥行き方向に変化した場合に、両光軸の交点が変化する線がエピポーラライン32に相当する。エピポーラライン32に沿ってパターンをずらすことは、投光部12の投影面からの距離を変更することを意味する。 FIG. 13 is a diagram for explaining epipolar lines in measurement system 1 according to the present embodiment. Referring to FIG. 13 , epipolar line 32 is a line along which the intersection of both optical axes changes when the object changes in the depth direction in the overlapping region of the field of view of light projecting unit 12 and the field of view of imaging unit 13 . corresponds to Shifting the pattern along the epipolar line 32 means changing the distance from the projection plane of the light projecting section 12 .

以下の説明においては、図11(B)に示されるモデルコード列を図12に示される検出されたコード列(以下、「計測コード列」とも称す。)と対応付ける具体的な手順について説明する。 In the following description, a specific procedure for associating the model code string shown in FIG. 11B with the detected code string (hereinafter also referred to as "measurement code string") shown in FIG. 12 will be described.

(1:コード列の探索)
先に、画像計測装置100は、照射された投影パターンPに含まれる各プリミティブ(基準パターンに相当)を入力画像内で探索することで、各プリミティブが照射された位置および当該照射されたプリミティブが示すコードの集合である計測コード列を取得する。
(1: Search for code string)
First, the image measurement apparatus 100 searches the input image for each primitive (corresponding to a reference pattern) included in the projected pattern P that has been irradiated, thereby determining the position where each primitive is irradiated and the position of the irradiated primitive. Get the instrumentation code string, which is a set of codes that indicate

そして、画像計測装置100は、投影パターンPに設定されるワード(単位領域に相当)に含まれる所定数のコードからなるモデルコード列と同一の配列を示す格子状コードパターン(対応領域に相当)を計測コード列(コードの集合)から探索する。 Then, the image measuring apparatus 100 generates a lattice code pattern (corresponding to a corresponding area) showing the same arrangement as a model code string composed of a predetermined number of codes included in a word (corresponding to a unit area) set in the projection pattern P. is searched from the measurement code string (set of codes).

このとき、照射された投影パターンPに含まれる各プリミティブ(基準パターン)は、エピポーララインに沿ってずれることになるので、入力画像のエピポーララインに沿って格子状コードパターンを探索することが好ましい。 At this time, each primitive (reference pattern) included in the irradiated projection pattern P is shifted along the epipolar lines, so it is preferable to search for the grid-like code pattern along the epipolar lines of the input image.

より具体的には、図11(B)に示すモデルコード列に含まれるモデルワード201の第一行のコード「302」を、図12に示す計測コード列の第一行のコード列から探索する。同様に、モデルワード201の第二行のコード「121」を、図12に示す計測コード列の第二行のコード列から探索し、モデルワード201の第三行のコード「202」を、図12に示す計測コード列の第三行のコード列から探索する。モデルワード201については、各行のコードの探索に成功するので、格子状コードパターン211の認識を確定できる。 More specifically, the code string of the first line of the measurement code string shown in FIG. 12 is searched for the code "302" of the first line of the model word 201 included in the model code string shown in FIG. 11(B). . Similarly, the code "121" on the second line of the model word 201 is searched from the code string on the second line of the measurement code string shown in FIG. 12 is searched from the code string on the third row of the measurement code string. For the model word 201, the code search for each line is successful, so the recognition of the lattice code pattern 211 can be determined.

次に、図11(B)に示すモデルコード列において右隣のワードに移り、モデルワード201と同様に、各行のコードの探索を試みる。しかしながら、この例においては、「3」が欠損しているため検出できない。 Next, in the model code string shown in FIG. 11(B), the search for the code of each row is attempted in the same way as the model word 201 by moving to the next word on the right. However, in this example, "3" is missing and cannot be detected.

そのため、さらに右隣のモデルワードに移り、モデルワード202を設定し、ワードの再構成を試みると、「213」,「130」,「213」の各行のコード列を探索できるので、格子状コードパターン212の認識を確定できる。 Therefore, if we move to the next model word on the right, set the model word 202, and try to reconstruct the word, we can search the code strings of the lines "213", "130", and "213", so that the lattice code Recognition of pattern 212 can be determined.

図11(B)に示すコード列に対してモデルコード列を左端から右端に向けて、順次設定するとともに、上述したようなワードの再構成に係る一連の操作を繰返す。モデルコード列が右端に到達するとその行に対するモデルコード列の設定は終了し、ワード高さ分(図12に示す例では3行分)だけ下に移動して、再度左端から右端に向けてモデルコード列を順次設定するとともに、ワードの再構成に係る一連の操作を繰返す。すると、格子状コードパターン213および格子状コードパターン214の認識を確定できる。 The model code string is sequentially set from the left end to the right end for the code string shown in FIG. 11(B), and the above-described series of word reconstruction operations are repeated. When the model code string reaches the right end, the setting of the model code string for that row is completed, the model code string is moved downward by the word height (three lines in the example shown in FIG. 12), and the model code is again drawn from the left end to the right end. While sequentially setting the code string, a series of operations relating to word reconstruction is repeated. Then, recognition of grid code pattern 213 and grid code pattern 214 can be determined.

以上の操作によって、キーとなる格子状コードパターンを確定できたので、次に、同一行内において確定された格子状コードパターン間に存在する未確定の格子状コードパターンを確定させる。ここで、画像計測装置100は、投影パターンPに含まれるモデルコード列のうち格子状コードパターン(対応領域)の探索に失敗したモデルコード列について、予め定められた数のコードが不一致であることを許容する条件下において、計測コード列から再度探索する。 With the above operation, the key grid code pattern has been determined. Next, an undetermined grid code pattern existing between grid code patterns determined in the same row is determined. Here, the image measurement apparatus 100 determines that a predetermined number of codes do not match for model code strings included in the projection pattern P for which the search for the grid-like code pattern (corresponding region) has failed. is searched again from the instrumentation code string under conditions that allow .

この再度の探索においては、モデルコード列に含まれる各コードと一致するコードを計測コード列(コードの集合)から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する。 In this second search, after searching the measurement code string (set of codes) for codes that match each code included in the model code string, the number of codes that failed to be searched in the search is a predetermined number. Confirm the recognition of the model code string if:

図14は、本実施の形態に従う計測システム1において入力画像から検出されたプリミティブから得られる最終のデコード結果の一例を示す図である。図14に示すように、以上の操作により、格子状コードパターン221~格子状コードパターン224で囲まれる領域だけでなく、欠損しているプリミティブを除く、すべてのプリミティブがモデルワードと対応付けられたことになる。 FIG. 14 is a diagram showing an example of final decoding results obtained from primitives detected from an input image in measurement system 1 according to the present embodiment. As shown in FIG. 14, by the above operations, not only the area surrounded by the lattice code patterns 221 to 224 but also all primitives except missing primitives are associated with the model words. It will be.

図14に示す例においては、モデルワード201の右隣りに存在するモデルワード205(「020」,「213」,「021」)を、計測コード列から不一致数「1」を許して探索すると、それぞれ「020」,「21X」,「021」を検出できる。但し、Xは、コードが一致してないこと(すなわち、検出に失敗したこと)を示す。図14に示す例では、本来は「3」が存在しなければならないところ、その「3」が欠損している。 In the example shown in FIG. 14, if the model word 205 (“020”, “213”, “021”) existing on the right side of the model word 201 is searched from the measurement code string with the mismatch number “1”, "020", "21X" and "021" can be detected respectively. However, X indicates that the codes do not match (that is, the detection has failed). In the example shown in FIG. 14, where "3" should exist, "3" is missing.

同様に、モデルワード203とモデルワード204との間にあるモデルワード206(「021」,「202」,「131」)を、計測コード列から不一致数「1」を許して探索すると、それぞれ「021」,「20X」,「131」を検出できる。また、モデルワード203とモデルワード204との間にあるモデルワード207(「313」,「131」,「302」)を、計測コード列から不一致の許容数「1」として探索すると、それぞれ「313」,「X31」,「302」を検出できる。 Similarly, if the model word 206 (“021”, “202”, “131”) between the model word 203 and the model word 204 is searched from the measurement code string with the number of mismatches “1” allowed, the result is “ 021”, “20X”, and “131” can be detected. Also, if the model word 207 (“313”, “131”, “302”) between the model word 203 and the model word 204 is searched for the allowable number of mismatches “1” from the measurement code string, “313 , “X31”, and “302” can be detected.

(2:格子状コードパターン法に基づく距離推定)
上述のような操作により、モデルワードと対応付けられたプリミティブの位置情報に基づいて距離を推定する。すなわち、画像計測装置100は、先の探索処理により探索された、モデルコード列から構成するモデルワードの位置と基準面に投影されるワードの位置関係に基づいて、投影パターンPの照射基準面から対象物の各部までの距離を算出する。
(2: Distance estimation based on lattice code pattern method)
By the operation as described above, the distance is estimated based on the positional information of the primitive associated with the model word. That is, the image measurement apparatus 100 detects the position of the model word composed of the model code string searched by the previous search process and the positional relationship between the word projected on the reference plane. Calculate the distance to each part of the object.

例えば、格子状コードパターンのサイズに相当する3×3の単位で、入力画像上で左右上下に1ワードずつずらしながら、それぞれの重心位置を算出し、それぞれ算出された重心位置に基づいて、計測ヘッド10からの距離を算出してもよい。 For example, in units of 3×3, which corresponds to the size of a grid-like code pattern, the position of the center of gravity is calculated while shifting the input image one word at a time, left, right, up and down. A distance from the head 10 may be calculated.

一方、上述したようなワード単位での距離算出ではなく、プリミティブ単位で距離を算出してもよい。この場合には、空間的に密(XY方向)な距離データの波形を得ることができる。 On the other hand, instead of calculating the distance in word units as described above, the distance may be calculated in primitive units. In this case, a spatially dense (XY direction) distance data waveform can be obtained.

(3:応用例・変形例)
上述の探索方法は、モデルコード列の全領域に対して適用してもよいが、例えば、特許文献1に開示される周辺探索によって格子状コードパターンの対応付けを行った後に、対応付けに失敗した部分領域に対して適用するようにしてもよい。このように段階的な対応付けを行うことにより、対応付けを誤ってしまうというリスクを軽減しつつ、対応付け可能数を増加させることができる。
(3: Application example/Modification example)
The search method described above may be applied to the entire region of the model code string. It may also be applied to the partial area. By performing step-by-step association in this way, it is possible to increase the number of possible associations while reducing the risk of erroneous association.

上述の探索方法において、対象物の奥行き方向の存在範囲、すなわち発生する視差の大きさに制約条件を設けていなかったが、所定の制約条件を設けるようにしてもよい。このような奥行き方向の制約条件を設けることで、プリミティブコードの探索範囲が制限されるので、計算時間を削減できるとともに、対応付けを誤ってしまうというリスクを軽減できる。 In the search method described above, no constraint condition is provided for the existing range of the object in the depth direction, that is, the magnitude of the generated parallax, but a predetermined constraint condition may be provided. By providing such a constraint condition in the depth direction, the search range of the primitive code is limited, so that the calculation time can be reduced and the risk of erroneous association can be reduced.

上述の探索方法においては、モデルコード列の左上からモデルワードを順次設定する例を示した。この設定方法によれば、モデルコード列の下端あるいは右端に対応付けできないプリミティブが発生し得る。このような場合には、左上からモデルワードを順次設定する方法に代えて、あるいは、左上からモデルワードを順次設定するに加えて、モデルコード列の右上からモデルワードを順次設定するようにしてもよい。すなわち、モデルワードを順次設定する走査方向を複数に設定し、これらを併用することで、プリミティブの対応付け数を増加させることができる。 In the search method described above, an example was shown in which the model words are set sequentially from the upper left of the model code string. According to this setting method, there may be primitives that cannot be associated with the lower end or the right end of the model code string. In such a case, instead of setting the model words sequentially from the upper left, or in addition to setting the model words sequentially from the upper left, the model words may be set sequentially from the upper right of the model code string. good. That is, by setting a plurality of scanning directions in which model words are sequentially set and using them together, it is possible to increase the number of associated primitives.

また、上述の探索方法においては、未確定の格子状コードパターンを確定させるにあたって、計測コード列内で既に確定された格子状コードパターンをキーポイントとして間を埋めるように他の格子状コードパターンを決定(内挿)したが、これに限られない。例えば、特許文献1に開示されるような周辺探索によって確定された格子状コードパターンが計測コード列の外側に存在するのであれば、そのような外側に存在する格子状コードパターンとの間で内挿処理を実行してもよい。このような内挿処理の範囲を拡大することで、例えば、図14において、格子状コードパターン223の左側に位置し、対応付けできていない3点「312」を対応付けることができる。 In the above-described search method, when determining an undetermined grid code pattern, another grid code pattern is selected so as to fill in the gaps by using the grid code pattern already determined in the measurement code string as a key point. Although determined (interpolated), it is not limited to this. For example, if a grid-like code pattern determined by a peripheral search as disclosed in Patent Document 1 exists outside the measurement code string, there is an internal relationship between the grid-like code pattern that exists outside such a grid-like code pattern. Interpolation may be performed. By expanding the range of such interpolation processing, for example, in FIG. 14, three points "312" which are located on the left side of the lattice code pattern 223 and have not been associated can be associated.

上述の説明においては、一例として3×3の格子状コードパターンを採用したが、この格子状コードパターンのサイズは任意に設計でき、例えば5×5の格子状コードパターンを採用してもよい。 In the above description, a 3×3 lattice code pattern is used as an example, but the size of this lattice code pattern can be designed arbitrarily. For example, a 5×5 lattice code pattern may be used.

<F.機能構成>
次に、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理を実現するための機能構成について説明する。
<F. Functional configuration>
Next, a functional configuration for realizing processing for estimating three-dimensional information provided by measurement system 1 according to the present embodiment will be described.

図15は、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理を実現するための機能構成の一例を示す模式図である。図15に示す各機能は、典型的には、画像計測装置100のプロセッサ102が三次元計測プログラム1062を実行することで実現される。 FIG. 15 is a schematic diagram showing an example of a functional configuration for realizing processing for estimating three-dimensional information provided by measurement system 1 according to the present embodiment. Each function shown in FIG. 15 is typically realized by executing the three-dimensional measurement program 1062 by the processor 102 of the image measurement device 100 .

図15を参照して、画像計測装置100は、計測ヘッド10と接続されており、投影パターンPを対象物に照射した状態で、対象物を撮像することで得られる入力画像に基づいて、三次元情報および二次元画像(入力画像と実質的に同一)を出力する。より具体的には、画像計測装置100は、パターン検出部150と、1次探索部152と、欠損部分抽出部154と、パターン生成部156と、2次探索部160と、三次元情報復元部162とを含む。 Referring to FIG. 15, the image measuring apparatus 100 is connected to the measurement head 10, and based on an input image obtained by capturing an image of the target object while projecting the projection pattern P onto the target object, performs three-dimensional measurement. It outputs dimensional information and a two-dimensional image (substantially identical to the input image). More specifically, the image measurement apparatus 100 includes a pattern detection unit 150, a primary search unit 152, a missing portion extraction unit 154, a pattern generation unit 156, a secondary search unit 160, and a three-dimensional information restoration unit. 162.

パターン生成部156は、予め定められた投影パターンPを生成し、投光部12およびパターン検出部150へ出力する。投光部12は、パターン生成部156から指示された投影パターンPを対象物に照射する。 The pattern generation section 156 generates a predetermined projection pattern P and outputs it to the light projection section 12 and the pattern detection section 150 . The light projecting unit 12 irradiates the object with the projection pattern P instructed by the pattern generating unit 156 .

パターン検出部150は、照射された投影パターンPに含まれる各プリミティブ(基準パターン)を入力画像内で探索することで、各プリミティブが照射された位置および当該照射されたプリミティブが示すコードの集合を生成する。より具体的には、パターン検出部150は、撮像部13が対象物を撮像することで生成される入力画像を受けて、当該入力画像中に現れる濃淡パターンからプリミティブを検出する。 The pattern detection unit 150 searches the input image for each primitive (reference pattern) included in the irradiated projection pattern P, thereby obtaining the position where each primitive is irradiated and the set of codes indicated by the irradiated primitive. Generate. More specifically, the pattern detection unit 150 receives an input image generated by the imaging unit 13 capturing an image of an object, and detects primitives from a grayscale pattern appearing in the input image.

1次探索部152は、投影パターンPに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索する。すなわち、1次探索部152は、パターン検出部150により生成されたコードの集合を取得し、投影パターンPに設定されるワード(単位領域に相当)に含まれる所定数のプリミティブが示すコードの配列と同一の配列を示す格子状コードパターン(対応領域に相当)を当該コードの集合から探索する。1次探索部152は、検出したプリミティブおよびワードの位置を欠損部分抽出部154へ出力する。 The primary search unit 152 searches the set of codes for a corresponding area showing the same arrangement as the model code string composed of a predetermined number of codes included in the unit area set in the projection pattern P. FIG. That is, the primary search unit 152 acquires a set of codes generated by the pattern detection unit 150, and arranges the codes indicated by a predetermined number of primitives included in the word (corresponding to the unit area) set in the projection pattern P. A grid-like code pattern (corresponding to the corresponding area) showing the same arrangement as that of the set of codes is searched. The primary search unit 152 outputs the detected primitive and word positions to the missing part extraction unit 154 .

欠損部分抽出部154は、1次探索部152が検出したプリミティブおよびワードの位置の情報に基づいて、ワードを再構成できなかった領域(高さ情報が欠損している部分)を特定する。欠損部分の情報は、2次探索部160へ出力される。 The missing portion extracting unit 154 identifies a region (a portion lacking height information) where the word could not be reconstructed based on the primitives detected by the primary search unit 152 and the word position information. Information about the missing portion is output to secondary search section 160 .

2次探索部160は、入力画像の欠損部分に対応する部分または当該対応する部分の周辺に対して、対応するプリミティブの探索およびワードの再構成を試みる。特定的には、2次探索部160は、投影パターンPに含まれるモデルコード列のうち格子状コードパターン(対応領域に相当)の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードをコードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する。2次探索部160による探索結果は、三次元情報復元部162へ出力される。 The secondary search unit 160 attempts to search for corresponding primitives and reconstruct words in the portion corresponding to the missing portion of the input image or in the vicinity of the corresponding portion. Specifically, the secondary search unit 160 searches for model code strings included in the projection pattern P for which the search for the lattice code pattern (corresponding to the corresponding region) has failed. A code that matches each code is searched from the code set, and if the number of codes for which the search fails in the search is equal to or less than a predetermined number, recognition of the model code string is determined. The search result by secondary search section 160 is output to three-dimensional information restoration section 162 .

三次元情報復元部162は、距離算出部に相当し、1次探索部152および2次探索部160により探索された、モデルコード列と対応領域との対応関係に基づいて、投影パターンPの照射基準面(投光部12の照射面)から対象物の各部までの距離を算出する。より具体的には、三次元情報復元部162は、検出されたプリミティブおよびワードの位置に基づいて、入力画像に対応する視野内の三次元情報を復元する。 The three-dimensional information reconstruction unit 162 corresponds to a distance calculation unit, and based on the correspondence relationship between the model code string and the corresponding area searched by the primary search unit 152 and the secondary search unit 160, the projection pattern P is irradiated. Distances from the reference plane (irradiation plane of the light projecting section 12) to each part of the object are calculated. More specifically, the three-dimensional information reconstruction unit 162 reconstructs three-dimensional information within the field of view corresponding to the input image based on the detected primitive and word positions.

なお、図15には示していないが、三次元情報復元部162から出力される三次元情報に基づいて、ロボットを制御するなどの各種アプリケーション処理が実行されてもよい。 Although not shown in FIG. 15, various application processes such as controlling a robot may be executed based on the three-dimensional information output from the three-dimensional information restoration unit 162. FIG.

<G.処理手順>
次に、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理を実現するための処理手順について説明する。
<G. Processing procedure>
Next, a processing procedure for realizing processing for estimating three-dimensional information provided by measurement system 1 according to the present embodiment will be described.

図16は、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理手順を示すフローチャートである。図16に示す各ステップは、典型的には、画像計測装置100のプロセッサ102が三次元計測プログラム1062を実行することで実現される。 FIG. 16 is a flowchart showing a processing procedure for estimating three-dimensional information provided by measurement system 1 according to the present embodiment. Each step shown in FIG. 16 is typically realized by executing the three-dimensional measurement program 1062 by the processor 102 of the image measurement device 100 .

図16を参照して、画像計測装置100は、投影パターンPを対象物に照射する(ステップS100)とともに、投影パターンPを対象物に照射した状態で対象物を撮像する(ステップS102)。 Referring to FIG. 16, the image measurement apparatus 100 irradiates the object with the projection pattern P (step S100), and captures an image of the object while the object is being irradiated with the projection pattern P (step S102).

続いて、画像計測装置100は、照射された投影パターンPに含まれる各プリミティブ(基準パターンに相当)を、ステップS102において取得した入力画像内で探索することで、各プリミティブが照射された位置および当該照射されたプリミティブが示す計測コード列(コードの集合に相当)を取得する(ステップS104)。すなわち、画像計測装置100は、入力画像に含まれるプリミティブを探索して、計測コード列を生成する。 Subsequently, the image measurement apparatus 100 searches for each primitive (corresponding to the reference pattern) included in the projected pattern P that has been irradiated in the input image acquired in step S102, thereby finding the position and the position where each primitive is irradiated. A measurement code string (corresponding to a set of codes) indicated by the irradiated primitive is acquired (step S104). That is, the image measurement apparatus 100 searches for primitives included in the input image to generate a measurement code string.

続いて、画像計測装置100は、投影パターンPに設定されるワード(単位領域に相当)に含まれる所定数のコードからなるモデルコード列と同一の配列を示す格子状コードパターン(対応領域に相当)を計測コード列(コードの集合)から探索する(ステップS106)。すなわち、画像計測装置100は、投影パターンPに含まれるであろうワード(複数のプリミティブの組み合わせ)と同一のワードを入力画像内から探索する。 Next, the image measuring apparatus 100 generates a lattice code pattern (corresponding to the corresponding area) showing the same arrangement as the model code string consisting of a predetermined number of codes included in the word (corresponding to the unit area) set in the projection pattern P. ) from the measurement code string (set of codes) (step S106). That is, the image measurement apparatus 100 searches the input image for the same word as the word (combination of a plurality of primitives) that is likely to be included in the projection pattern P. FIG.

そして、画像計測装置100は、入力画像内から探索されたワードの数および位置などに基づいて、欠損部分が存在するか否かを判断する(ステップS108)。欠損部分が存在しなければ(ステップS108においてNO)、処理はステップS122へ進む。 Then, the image measurement apparatus 100 determines whether or not there is a missing portion based on the number and positions of words searched from the input image (step S108). If there is no defective portion (NO in step S108), the process proceeds to step S122.

欠損部分が存在していれば(ステップS108においてYES)、画像計測装置100は、投影パターンPに含まれるモデルコード列のうち格子状コードパターンの探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを計測コード列から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する。 If there is a missing portion (YES in step S108), the image measuring apparatus 100 replaces the model code string included in the projection pattern P for which the search for the lattice code pattern has failed. After searching the measurement code string for a code that matches each code included in the model code string, if the number of codes that failed to search in the search is less than a predetermined number, confirm the recognition of the model code string .

具体的には、画像計測装置100は、格子状コードパターンの探索に失敗したモデルコード列のいずれかを選択する(ステップS110)。そして、画像計測装置100は、選択したモデルコード列に含まれる各コードと一致するコードを計測コード列から探索する(ステップS112)。画像計測装置100は、ステップS112における探索において探索に失敗したコードの数が予め定められた数以下であるか否かを判断する(ステップS114)。 Specifically, the image measurement apparatus 100 selects one of the model code strings for which the grid code pattern search has failed (step S110). Then, the image measurement apparatus 100 searches the measurement code string for a code that matches each code included in the selected model code string (step S112). The image measuring apparatus 100 determines whether or not the number of codes for which the search failed in the search in step S112 is equal to or less than a predetermined number (step S114).

探索に失敗したコードの数が予め定められた数以下であれば(ステップS114においてYES)、画像計測装置100は、選択したモデルコード列の認識を確定する(ステップS116)。そして、処理はステップS120へ進む。 If the number of codes for which the search has failed is equal to or less than the predetermined number (YES in step S114), image measurement device 100 confirms recognition of the selected model code string (step S116). The process then proceeds to step S120.

これに対して、探索に失敗したコードの数が予め定められた数を超えていれば(ステップS114においてNO)、画像計測装置100は、選択したモデルコード列の認識を失敗と決定する(ステップS118)。そして、処理はステップS120へ進む。 On the other hand, if the number of codes for which the search has failed exceeds the predetermined number (NO in step S114), image measurement device 100 determines that recognition of the selected model code string has failed (step S118). The process then proceeds to step S120.

ステップS120において、画像計測装置100は、格子状コードパターンの探索に失敗したモデルコード列のうち未処理のものが残っているか否かを判断する(ステップS120)。格子状コードパターンの探索に失敗したモデルコード列のうち未処理のものが残っていれば(ステップS120においてYES)、画像計測装置100は、格子状コードパターンの探索に失敗した別のモデルコード列を選択し(ステップS122)、ステップS112以下の処理を繰返す。すなわち、格子状コードパターン(対応領域)の探索に失敗したモデルコード列のすべてについて、探索処理が繰返される。 In step S120, the image measurement apparatus 100 determines whether or not there remains an unprocessed model code string for which the grid code pattern search has failed (step S120). If an unprocessed model code string remains in the grid code pattern search failure (YES in step S120), the image measurement apparatus 100 selects another model code string in which the grid code pattern search has failed. is selected (step S122), and the processing from step S112 is repeated. That is, the search process is repeated for all model code strings for which the search for the lattice code pattern (corresponding region) has failed.

格子状コードパターンの探索に失敗したモデルコード列のうち未処理のものが残っていなければ(ステップS120においてNO)、画像計測装置100は、探索されたモデルコード列と対応領域との対応関係に基づいて、投影パターンPの照射基準面から対象物の各部までの距離を算出する(ステップS124)。すなわち、画像計測装置100は、探索された格子状コードパターンの位置に基づいて、対象物の三次元情報を構成する。そして、処理は終了する。 If there are no unprocessed model code strings remaining in the grid code pattern search failure (NO in step S120), the image measurement device 100 determines the correspondence relationship between the searched model code strings and the corresponding regions. Based on this, the distance from the irradiation reference plane of the projection pattern P to each part of the object is calculated (step S124). That is, the image measurement apparatus 100 constructs the three-dimensional information of the object based on the searched positions of the grid-like code patterns. Then the process ends.

<H.変形例>
上述の実施の形態においては、予め定められた数のコードが不一致であることを許容する単一の条件を用いる処理例について説明したが、不一致であることを許容する条件を動的に変更するようにしてもよい。この場合、計測コード列に対する不一致の許容数を順次緩和して、探索処理を繰返すようにしてもよい。
<H. Variation>
In the above-described embodiment, a processing example using a single condition that allows a predetermined number of codes to be mismatched has been described. You may do so. In this case, the allowable number of mismatches with respect to the measurement code string may be gradually relaxed, and the search process may be repeated.

例えば、計測コード列に対する不一致の許容数をワードに含まれるプリミティブの数に対して「10%」を設定して、三次元情報の復元を試みる。この設定される不一致の許容数では、認識できないコードが多いため、三次元情報の復元が難しい場合には、その部位に対して不一致の許容数を「20%」に引き上げて、三次元情報の復元を再度試みる。 For example, the allowable number of mismatches for the instrumentation code string is set to 10% with respect to the number of primitives contained in the word, and an attempt is made to restore the 3D information. With this set allowable number of mismatches, there are many codes that cannot be recognized, so if it is difficult to restore the 3D information, raise the allowable number of mismatches for that part to "20%" and set the 3D information Attempt the restore again.

このように、不一致の許容数あるいは許容率を徐々に引き上げて、三次元情報の復元がうまくいくまで繰返すようにしてもよい。すなわち、画像計測装置100は、計測コード列に対する不一致の許容数である、予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返すようにしてもよい。 In this way, the allowable number of mismatches or the allowable rate may be gradually increased and repeated until the restoration of the three-dimensional information is successful. In other words, the image measuring apparatus 100 changes the predetermined number, which is the allowable number of mismatches for the measurement code string, for each code included in the model code string for which the search for the corresponding region has failed. It is also possible to repeat the search for a code that matches .

最初から不一致の許容数あるいは許容率を緩和する方法に比較して、誤った対応付けが生じ得る可能性を低減しつつ、三次元情報の復元の成功率を高めることができる。 Compared to the method of alleviating the allowable number or rate of mismatches from the beginning, it is possible to increase the success rate of restoration of three-dimensional information while reducing the possibility of erroneous matching.

<I.付記>
上述したような本実施の形態は、以下のような技術思想を含む。
[構成1]
予め定められた投影パターン(P)を対象物に照射した状態で、前記対象物を撮像した画像である入力画像を取得する取得部(10)を備え、前記投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものであり、
前記照射された投影パターンに含まれる各基準パターンを前記入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得する検出部(150)と、
前記投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索する第1の探索部(152)と、
前記投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを前記コードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する第2の探索部(160)と、
前記第1の探索部および前記第2の探索部により探索された、前記モデルコード列と対応領域との対応関係に基づいて、前記投影パターンの照射基準面から前記対象物の各部までの距離を算出する距離算出部(162)とを備える、計測システム。
[構成2]
前記第1の探索部および前記第2の探索部は、前記入力画像のエピポーラライン(32)に沿って探索する、構成1に記載の計測システム。
[構成3]
前記第2の探索部は、対応領域の探索に失敗したモデルコード列のすべてについて、探索処理を繰返す、構成1または2に記載の計測システム。
[構成4]
前記第2の探索部は、前記予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返す、構成1~3のいずれか1項に記載の計測システム。
[構成5]
予め定められた投影パターン(P)を対象物に照射した状態で、前記対象物を撮像した画像である入力画像を取得するステップ(S100,S102)を備え、前記投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものであり、
前記照射された投影パターンに含まれる各基準パターンを前記入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得するステップ(S104)と、
前記投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索するステップ(ステップS106)と、
前記投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを前記コードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定するステップ(S110,S112,114,S116,S122)と、
探索された前記モデルコード列と対応領域との対応関係に基づいて、前記投影パターンの照射基準面から前記対象物の各部までの距離を算出するステップ(S124)とを備える、計測方法。
[構成6]
前記基準パターンは、前記入力画像のエピポーラライン(32)に沿って探索される、構成5に記載の計測方法。
[構成7]
対応領域の探索に失敗したモデルコード列のすべてについて、探索処理が繰返される(S120,S122)、構成5または6に記載の計測方法。
[構成8]
前記予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返すステップをさらに備える、構成5~7のいずれか1項に記載の計測方法。
<I. Note>
The present embodiment as described above includes the following technical ideas.
[Configuration 1]
an acquisition unit (10) that acquires an input image that is an image of an object captured while a predetermined projection pattern (P) is projected onto the object, wherein each of the projection patterns has a unique code; A plurality of types of assigned reference patterns are arranged according to a predetermined rule,
A detection unit (150) that acquires a position where each reference pattern is irradiated and a set of codes indicated by the irradiated reference pattern by searching the input image for each reference pattern included in the irradiated projection pattern. )and,
a first search unit (152) for searching a set of codes for a corresponding region showing the same arrangement as a model code string consisting of a predetermined number of codes included in a unit region set in the projection pattern;
Among the model code strings included in the projection pattern, for a model code string for which a search for a corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and in the search, a second search unit (160) that confirms recognition of the model code string when the number of codes for which the search has failed is equal to or less than a predetermined number;
Based on the correspondence relationship between the model code string and the corresponding region searched by the first search unit and the second search unit, the distance from the irradiation reference plane of the projection pattern to each part of the object is calculated. A measurement system comprising a distance calculator (162) for calculating.
[Configuration 2]
The measurement system according to configuration 1, wherein the first search unit and the second search unit search along an epipolar line (32) of the input image.
[Configuration 3]
3. The measurement system according to configuration 1 or 2, wherein the second search unit repeats search processing for all model code strings for which search of the corresponding region has failed.
[Configuration 4]
wherein the second searching unit repeats searching for a code that matches each code included in the model code string for which the search for the corresponding region has failed, by varying the predetermined number. The measurement system according to any one of 1 to 3.
[Configuration 5]
A step (S100, S102) of acquiring an input image that is an image of the target object while a predetermined projection pattern (P) is projected onto the target object, wherein the projection patterns each have a unique code. A plurality of types of reference patterns assigned with are arranged according to a predetermined rule,
A step of searching the input image for each reference pattern included in the irradiated projection pattern to obtain a set of codes indicated by the irradiated position of each reference pattern and the irradiated reference pattern (S104). and,
a step of searching from the set of codes for a corresponding region exhibiting the same arrangement as a model code string consisting of a predetermined number of codes included in a unit region set in the projection pattern (step S106);
Among the model code strings included in the projection pattern, for a model code string for which a search for a corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and in the search, a step of confirming recognition of the model code string if the number of codes for which the search has failed is equal to or less than a predetermined number (S110, S112, 114, S116, S122);
A measuring method comprising a step (S124) of calculating distances from the irradiation reference plane of the projection pattern to each part of the object based on the correspondence relationship between the searched model code string and the corresponding area.
[Configuration 6]
6. The method of configuration 5, wherein the reference pattern is searched along an epipolar line (32) of the input image.
[Configuration 7]
7. The measurement method according to configuration 5 or 6, wherein the search process is repeated for all model code strings for which the corresponding region search has failed (S120, S122).
[Configuration 8]
Structures 5 to 7, further comprising the step of repeating a search for a code that matches each code included in the model code string for which the search for the corresponding region has failed, with the predetermined number being different. The measuring method according to any one of the items.

<J.利点>
本実施の形態に従う画像計測システムは、モデルコードと対応領域との対応関係を厳密に決定した上で、予め定められた数のコードが不一致であることを許容する緩和された条件下で、対応関係が決定できなかったモデルコードについて対応領域を探索するので、何らかの原因で入力画像にノイズが含まれている場合であっても、対象物までの距離を適切に算出できる。
<J. Advantage>
The image measurement system according to the present embodiment strictly determines the correspondence relationship between the model code and the corresponding area, and then performs the correspondence under relaxed conditions that allow a predetermined number of codes to be mismatched. Since the corresponding area is searched for the model code for which the relationship could not be determined, the distance to the object can be calculated appropriately even if the input image contains noise for some reason.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be considered that the embodiments disclosed this time are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the above description, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.

1 計測システム、2 入力画像、4 ワーク、5 突起部、10 計測ヘッド、11 処理部、12 投光部、13 撮像部、14,110 表示部、15 記憶部、16 通信インターフェイス(I/F)部、32 エピポーラライン、100 画像計測装置、102 プロセッサ、104 メインメモリ、106 ストレージ、108 入力部、112 光学ドライブ、114 下位インターフェイス部、115 記録媒体、116 上位インターフェイス部、118 プロセッサバス、150 パターン検出部、152 1次探索部、154 欠損部分抽出部、156 パターン生成部、160 2次探索部、162 三次元情報復元部、200 計測コード列、201,202,203,204,205,206,207 モデルワード、211,212,213,214,221,222,223,224 格子状コードパターン、1060 OS、1062 三次元計測プログラム、K 行列、P 投影パターン、R プリミティブ位置、W1,W2,W3 ワード。 Reference Signs List 1 measurement system 2 input image 4 workpiece 5 protrusion 10 measurement head 11 processing unit 12 light projection unit 13 imaging unit 14, 110 display unit 15 storage unit 16 communication interface (I/F) Section, 32 Epipolar Line, 100 Image Measuring Device, 102 Processor, 104 Main Memory, 106 Storage, 108 Input Section, 112 Optical Drive, 114 Lower Interface Section, 115 Recording Medium, 116 Upper Interface Section, 118 Processor Bus, 150 Pattern Detection Unit 152 primary search unit 154 missing part extraction unit 156 pattern generation unit 160 secondary search unit 162 three-dimensional information restoration unit 200 measurement code string 201, 202, 203, 204, 205, 206, 207 model word, 211, 212, 213, 214, 221, 222, 223, 224 lattice code pattern, 1060 OS, 1062 three-dimensional measurement program, K matrix, P projection pattern, R primitive position, W1, W2, W3 word.

Claims (8)

予め定められた投影パターンを対象物に照射した状態で、前記対象物を撮像した画像である入力画像を取得する取得部を備え、前記投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものであり、
前記照射された投影パターンに含まれる各基準パターンを前記入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得する検出部と、
前記投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索する第1の探索部と、
前記投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを前記コードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する第2の探索部と、
前記第1の探索部および前記第2の探索部により探索された、前記モデルコード列と対応領域との対応関係に基づいて、前記投影パターンの照射基準面から前記対象物の各部までの距離を算出する距離算出部とを備える、計測システム。
an acquisition unit that acquires an input image that is an image of an object captured while a predetermined projection pattern is projected onto the object; A reference pattern arranged according to a predetermined rule,
a detection unit that searches the input image for each reference pattern included in the irradiated projection pattern to obtain a set of codes indicated by the irradiated position of each reference pattern and the irradiated reference pattern;
a first search unit that searches a set of codes for a corresponding region showing the same arrangement as a model code string consisting of a predetermined number of codes included in a unit region set in the projection pattern;
Among the model code strings included in the projection pattern, for a model code string for which a search for a corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and in the search, a second search unit that confirms recognition of the model code string when the number of codes for which the search fails is equal to or less than a predetermined number;
Based on the correspondence relationship between the model code string and the corresponding region searched by the first search unit and the second search unit, the distance from the irradiation reference plane of the projection pattern to each part of the object is calculated. A measurement system, comprising: a distance calculation unit for calculating.
前記第1の探索部および前記第2の探索部は、前記入力画像のエピポーララインに沿って探索する、請求項1に記載の計測システム。 2. The measurement system according to claim 1, wherein said first search section and said second search section search along an epipolar line of said input image. 前記第2の探索部は、対応領域の探索に失敗したモデルコード列のすべてについて、探索処理を繰返す、請求項1または2に記載の計測システム。 3. The measurement system according to claim 1, wherein said second search unit repeats search processing for all model code strings for which search of corresponding regions has failed. 前記第2の探索部は、前記予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返す、請求項1~3のいずれか1項に記載の計測システム。 wherein the second searching unit repeats searching for a code that matches each code included in the model code string, for which the search for the corresponding region has failed, by varying the predetermined number. Item 4. The measurement system according to any one of items 1 to 3. 予め定められた投影パターンを対象物に照射した状態で、前記対象物を撮像した画像である入力画像を取得するステップを備え、前記投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものであり、
前記照射された投影パターンに含まれる各基準パターンを前記入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得するステップと、
前記投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索するステップと、
前記投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを前記コードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定するステップと、
探索された前記モデルコード列と対応領域との対応関係に基づいて、前記投影パターンの照射基準面から前記対象物の各部までの距離を算出するステップとを備える、計測方法。
acquiring an input image that is an image of the target object while a predetermined projection pattern is projected onto the target object, wherein the projection patterns are obtained from a plurality of types of references each assigned a unique code; A pattern is arranged according to a predetermined rule,
searching the input image for each reference pattern included in the illuminated projection pattern to acquire a set of positions where each reference pattern is illuminated and codes indicated by the illuminated reference pattern;
a step of searching a set of codes for a corresponding region showing the same arrangement as a model code string consisting of a predetermined number of codes included in a unit region set in the projection pattern;
Among the model code strings included in the projection pattern, for a model code string for which a search for a corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and in the search, determining recognition of the model code string if the number of codes for which the search fails is equal to or less than a predetermined number;
and calculating a distance from the irradiation reference plane of the projection pattern to each part of the object based on the correspondence relationship between the searched model code string and the corresponding area.
前記基準パターンは、前記入力画像のエピポーララインに沿って探索される、請求項5に記載の計測方法。 6. The measurement method according to claim 5, wherein said reference pattern is searched along epipolar lines of said input image. 対応領域の探索に失敗したモデルコード列のすべてについて、探索処理が繰返される、請求項5または6に記載の計測方法。 7. The measuring method according to claim 5, wherein the search process is repeated for all model code strings for which the corresponding region search has failed. 前記予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返すステップをさらに備える、請求項5~7のいずれか1項に記載の計測方法。 Claims 5 to 7, further comprising the step of repeating searches for codes that match each code contained in model code strings for which the search for the corresponding region has failed, with the predetermined number being different. The measuring method according to any one of.
JP2019141535A 2018-08-02 2019-07-31 Measuring system and measuring method Active JP7243513B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/529,791 US10867225B2 (en) 2018-08-02 2019-08-02 Measurement system and measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018145790 2018-08-02
JP2018145790 2018-08-02

Publications (2)

Publication Number Publication Date
JP2020024200A JP2020024200A (en) 2020-02-13
JP7243513B2 true JP7243513B2 (en) 2023-03-22

Family

ID=69618568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019141535A Active JP7243513B2 (en) 2018-08-02 2019-07-31 Measuring system and measuring method

Country Status (1)

Country Link
JP (1) JP7243513B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079294A (en) 2010-09-08 2012-04-19 Canon Inc Image information processing apparatus and control method thereof
US20140164352A1 (en) 2012-11-20 2014-06-12 Karl L. Denninghoff Search and navigation to specific document content
US20140164885A1 (en) 2012-12-10 2014-06-12 Casio Computer Co., Ltd. Time information obtaining device and radio-controlled timepiece
JP2015155886A (en) 2014-01-20 2015-08-27 キヤノン株式会社 Three-dimensional measurement apparatus, three-dimensional measurement method, and program
JP2016217833A (en) 2015-05-19 2016-12-22 株式会社リコー Image processing system and image processing method
JP2018063220A (en) 2016-10-14 2018-04-19 オムロン株式会社 Three-dimensional measuring device and three-dimensional measuring method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079294A (en) 2010-09-08 2012-04-19 Canon Inc Image information processing apparatus and control method thereof
US20140164352A1 (en) 2012-11-20 2014-06-12 Karl L. Denninghoff Search and navigation to specific document content
US20140164885A1 (en) 2012-12-10 2014-06-12 Casio Computer Co., Ltd. Time information obtaining device and radio-controlled timepiece
JP2015155886A (en) 2014-01-20 2015-08-27 キヤノン株式会社 Three-dimensional measurement apparatus, three-dimensional measurement method, and program
JP2016217833A (en) 2015-05-19 2016-12-22 株式会社リコー Image processing system and image processing method
JP2018063220A (en) 2016-10-14 2018-04-19 オムロン株式会社 Three-dimensional measuring device and three-dimensional measuring method

Also Published As

Publication number Publication date
JP2020024200A (en) 2020-02-13

Similar Documents

Publication Publication Date Title
KR101733228B1 (en) Apparatus for three dimensional scanning with structured light
JP5713159B2 (en) Three-dimensional position / orientation measurement apparatus, method and program using stereo images
US8805057B2 (en) Method and system for generating structured light with spatio-temporal patterns for 3D scene reconstruction
JP5854715B2 (en) Image information processing apparatus and control method thereof
JP6097903B2 (en) Three-dimensional shape acquisition apparatus, processing method, and program
KR20110102244A (en) Information processing apparatus, processing method therefor, and computer-readable storage medium
KR20160031967A (en) Muti-projection system and method for projector calibration thereof
US20140003740A1 (en) Block patterns as two-dimensional ruler
KR102158390B1 (en) Method and apparatus for image processing
JP6006179B2 (en) Data analysis apparatus, data analysis method, and program
US10818030B2 (en) Three-dimensional measurement apparatus and three-dimensional measurement method
JP2009048516A (en) Information processor, information processing method and computer program
Wijenayake et al. Dual pseudorandom array technique for error correction and hole filling of color structured-light three-dimensional scanning
US10867225B2 (en) Measurement system and measurement method
JP7243513B2 (en) Measuring system and measuring method
NL2016286B1 (en) Displacement sensor.
JP2015004588A (en) Data analyzer, data analysis method, and program
JP7115057B2 (en) Measuring system and measuring method
JP6583674B2 (en) Three-dimensional measuring apparatus, pattern generating apparatus, and method
JP5157575B2 (en) Defect detection method
JP2006202152A (en) Image processor, image processing method and program used therefor
KR101087863B1 (en) Method of deciding image boundaries using structured light, record medium for performing the same and apparatus for image boundary recognition system using structured light
WO2023008509A1 (en) Information processing program and information processing device
Jonscher et al. Reconstruction of images taken by a pair of non-regular sampling sensors using correlation based matching
CN112446895B (en) Automatic extraction method, system, equipment and medium for checkerboard corner points

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R150 Certificate of patent or registration of utility model

Ref document number: 7243513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150