JP7243513B2 - Measuring system and measuring method - Google Patents
Measuring system and measuring method Download PDFInfo
- Publication number
- JP7243513B2 JP7243513B2 JP2019141535A JP2019141535A JP7243513B2 JP 7243513 B2 JP7243513 B2 JP 7243513B2 JP 2019141535 A JP2019141535 A JP 2019141535A JP 2019141535 A JP2019141535 A JP 2019141535A JP 7243513 B2 JP7243513 B2 JP 7243513B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- pattern
- codes
- unit
- code string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本技術は、予め定められた投影パターンを対象物に照射した状態で対象物を撮像した画像に基づいて対象物の位置を計測する計測システムおよび計測方法に関する。 The present technology relates to a measurement system and a measurement method for measuring the position of an object based on an image of the object captured while the object is irradiated with a predetermined projection pattern.
従来から、光学的な手法を用いて対象物の三次元形状を計測する技術が知られている。例えば、特開2012-079294号公報(特許文献1)は、複数種類の符号が二次元に並ぶ投影符号列の各符号に、符号の種類ごとに異なる色または輝度を有する点をシンボルとして割り当てることで得られた二次元の点列を含む投影パターンを被写体に投影し、投影パターンが投影された被写体を撮像することにより得られた撮像画像を用いて被写体の三次元計測を行う画像情報処理装置を開示する。 Conventionally, techniques for measuring the three-dimensional shape of an object using an optical technique have been known. For example, Japanese Unexamined Patent Application Publication No. 2012-079294 (Patent Document 1) assigns a point having a different color or brightness for each code type to each code of a projection code string in which multiple types of codes are arranged two-dimensionally as a symbol. An image information processing device that performs three-dimensional measurement of the subject using the captured image obtained by projecting the projection pattern including the two-dimensional point sequence obtained in step onto the subject and capturing the image of the subject on which the projection pattern is projected. disclose.
上述の特許文献1に開示される方法では、所定数の情報符号列を用いて符号誤り検出を行うことで情報符号列を復元する。しかしながら、所定数の情報符号列を取得できない場合には、目的の情報符号列を復元できない可能性がある。すなわち、周辺探索だけでは、情報符号列を復元できず、計測できない欠損部分が生じ得る。
In the method disclosed in the above-mentioned
本技術は、予め定められた投影パターンを対象物に照射した状態で対象物を撮像した画像に基づいて対象物の位置を計測する構成において、計測のロバスト性を高める解決手段を提供することを一つの目的とする。 The present technology aims to provide a solution for improving robustness of measurement in a configuration for measuring the position of an object based on an image of the object captured while the object is irradiated with a predetermined projection pattern. one purpose.
本技術の一つの実施形態に従う計測システムは、予め定められた投影パターンを対象物に照射した状態で、対象物を撮像した画像である入力画像を取得する取得部を含む。投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものである。計測システムは、照射された投影パターンに含まれる各基準パターンを入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得する検出部と、投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索する第1の探索部と、投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードをコードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する第2の探索部と、第1の探索部および第2の探索部により探索された、モデルコード列と対応領域との対応関係に基づいて、投影パターンの照射基準面から対象物の各部までの距離を算出する距離算出部とを含む。 A measurement system according to an embodiment of the present technology includes an acquisition unit that acquires an input image that is an image of an object captured while the object is irradiated with a predetermined projection pattern. A projection pattern is obtained by arranging a plurality of types of reference patterns each assigned a unique code according to a predetermined rule. The measurement system searches for each reference pattern included in the irradiated projection pattern in the input image, and acquires the position where each reference pattern is irradiated and a set of codes indicated by the irradiated reference pattern. a first search unit for searching a model code string consisting of a predetermined number of codes included in a unit area set in the projection pattern and a corresponding area exhibiting the same arrangement from the set of codes; For model code strings in which the search for the corresponding region has failed, the number of codes for which the search failed after searching for codes that match each code contained in the model code string from the set of codes is equal to or less than a predetermined number, a second search unit that confirms recognition of the model code string, and the model code string and the corresponding region searched by the first search unit and the second search unit and a distance calculation unit that calculates the distance from the irradiation reference plane of the projection pattern to each part of the object based on the correspondence relationship between .
本開示によれば、モデルコードと対応領域との対応関係を厳密に決定した上で、予め定められた数のコードが不一致であることを許容する緩和された条件下で、対応関係が決定できなかったモデルコードについて対応領域を探索するので、何らかの原因で入力画像にノイズが含まれている場合であっても、対象物までの距離を適切に算出できる。 According to the present disclosure, after strictly determining the correspondence between the model code and the corresponding region, the correspondence can be determined under relaxed conditions that allow mismatches in a predetermined number of codes. Since the corresponding area is searched for the missing model code, the distance to the object can be calculated appropriately even if the input image contains noise for some reason.
第1の探索部および第2の探索部は、入力画像のエピポーララインに沿って探索するようにしてもよい。エピポーララインに沿って探索することで、効率的な探索を実現できる。 The first search section and the second search section may search along epipolar lines of the input image. Efficient search can be realized by searching along the epipolar line.
第2の探索部は、対応領域の探索に失敗したモデルコード列のすべてについて、探索処理を繰返すようにしてもよい。探索処理の繰返しによって、投影パターンの照射基準面から対象物の各部までの距離の算出をより確実に行うことができる。 The second search unit may repeat the search process for all model code strings for which the search for the corresponding region has failed. By repeating the search process, it is possible to more reliably calculate the distance from the irradiation reference plane of the projection pattern to each part of the object.
第2の探索部は、予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返すようにしてもよい。予め定められた数を異ならせることで、誤った探索を防止しつつ、対象物の各部までの距離の算出をより確実に行うことができる。 The second search unit may repeat the search for a code that matches each code contained in the model code string for which the search for the corresponding region has failed by varying the predetermined number. good. By making the predetermined numbers different, it is possible to prevent erroneous searches and more reliably calculate the distance to each part of the object.
本技術の別の実施形態に従う計測方法は、予め定められた投影パターンを対象物に照射した状態で、対象物を撮像した画像である入力画像を取得するステップを含む。投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものである。計測方法は、照射された投影パターンに含まれる各基準パターンを入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得するステップと、投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索するステップと、投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードをコードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定するステップとを含む。 A measurement method according to another embodiment of the present technology includes acquiring an input image that is an image of an object captured while the object is irradiated with a predetermined projection pattern. A projection pattern is obtained by arranging a plurality of types of reference patterns each assigned a unique code according to a predetermined rule. The measurement method includes a step of searching the input image for each reference pattern included in the irradiated projection pattern to obtain a set of codes indicated by the irradiated position of each reference pattern and the irradiated reference pattern. a step of searching a model code string consisting of a predetermined number of codes included in a unit region set in a projection pattern for a corresponding region exhibiting the same arrangement from the set of codes; For the model code string for which the search for the corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and the number of codes for which the search fails in the search is predetermined. and determining the recognition of the model code string if it is less than or equal to the number.
本開示によれば、モデルコードと対応領域との対応関係を厳密に決定した上で、予め定められた数のコードが不一致であることを許容する緩和された条件下で、対応関係が決定できなかったモデルコードについて対応領域を探索するので、何らかの原因で入力画像にノイズが含まれている場合であっても、対象物までの距離を適切に算出できる。 According to the present disclosure, after strictly determining the correspondence between the model code and the corresponding region, the correspondence can be determined under relaxed conditions that allow mismatches in a predetermined number of codes. Since the corresponding area is searched for the missing model code, the distance to the object can be calculated appropriately even if the input image contains noise for some reason.
基準パターンは、入力画像のエピポーララインに沿って探索されてもよい。エピポーララインに沿って探索することで、効率的な探索を実現できる。 The reference pattern may be searched along epipolar lines of the input image. Efficient search can be realized by searching along the epipolar line.
対応領域の探索に失敗したモデルコード列のすべてについて、探索処理が繰返されるようにしてもよい。探索処理の繰返しによって、投影パターンの照射基準面から対象物の各部までの距離の算出をより確実に行うことができる。 The search process may be repeated for all model code strings for which the corresponding region search has failed. By repeating the search process, it is possible to more reliably calculate the distance from the irradiation reference plane of the projection pattern to each part of the object.
計測方法は、予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返すステップをさらに含むようにしてもよい。予め定められた数を異ならせることで、誤った探索を防止しつつ、対象物の各部までの距離の算出をより確実に行うことができる。 The measurement method may further include the step of repeating searches for codes that match each code contained in the model code string for which the search for the corresponding region has failed, with different predetermined numbers. . By making the predetermined numbers different, it is possible to prevent erroneous searches and more reliably calculate the distance to each part of the object.
本技術によれば、予め定められた投影パターンを対象物に照射した状態で対象物を撮像した画像に基づいて対象物の位置を計測する構成において、計測のロバスト性を高めることができる。 According to the present technology, it is possible to improve the robustness of measurement in a configuration for measuring the position of an object based on an image of the object captured while the object is irradiated with a predetermined projection pattern.
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are denoted by the same reference numerals, and the description thereof will not be repeated.
<A.適用例>
まず、本発明が適用される場面の一例について説明する。
<A. Application example>
First, an example of a scene to which the present invention is applied will be described.
図1は、本実施の形態に従う計測システム1の適用例を示す模式図である。図1を参照して、本実施の形態に従う計測システム1は、計測ヘッド10を含む。
FIG. 1 is a schematic diagram showing an application example of a
計測ヘッド10から予め定められた投影パターンPを対象物に照射した状態で、当該対象物を計測ヘッド10で撮像した画像である入力画像2が取得される。典型的には、構造化照明に従う投影パターンPが採用される。すなわち、投影パターンPは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものが採用される。投影パターンPに含まれる各基準パターンは、「プリミティブ」とも称される。
An
数値を用いて投影パターンPに含まれる各基準パターンの種類を表現することができる。このような表現の変更をコード化とも称す。図1に示す例においては、投影パターンPをコード化することにより等価な行列Kを生成できる。 The type of each reference pattern included in the projection pattern P can be expressed using numerical values. Such a change of representation is also referred to as encoding. In the example shown in FIG. 1, the equivalent matrix K can be generated by encoding the projection pattern P. In the example shown in FIG.
計測システム1を構成する画像計測装置は、投影パターンPの情報および入力画像2に現れる投影パターンPに対応する濃淡パターンを用いて三次元計測処理を実行する。
The image measurement device that constitutes the
画像計測装置は、照射された投影パターンPに含まれる各プリミティブを入力画像2内で探索することで、各プリミティブが照射された位置および当該照射されたプリミティブが示すコードの集合である計測コード列200を取得する。
The image measurement device searches the
画像計測装置は、投影パターンPに設定される単位領域(以下、「ワード」とも称す。)に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域(以下、「格子状コードパターン」とも称す。)を計測コード列200から探索する(ステップS1)。図1に示す例では、計測コード列200に対して、格子状コードパターン211,212,213,214の認識を確定できる。
The image measurement apparatus generates a corresponding area (hereinafter referred to as a "lattice pattern") showing the same arrangement as a model code string composed of a predetermined number of codes included in a unit area (hereinafter also referred to as a "word") set in the projection pattern P. (also referred to as "code pattern") is searched from the measurement code string 200 (step S1). In the example shown in FIG. 1, the recognition of
但し、計測コード列200には、ワードを構成するプリミティブの一部が探索できず、ワードを再構成できない欠損部分が存在し得る。
However, in the
そこで、画像計測装置は、投影パターンPに含まれるモデルコード列のうちワード(対応領域)の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを計測コード列200から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する(ステップS2)。 Therefore, the image measurement device detects a model code string in which the search for a word (corresponding region) has failed among the model code strings included in the projection pattern P, and adds a code matching each code included in the model code string to the measurement code string. 200, and if the number of unsuccessful codes in the search is equal to or less than a predetermined number, recognition of the model code string is confirmed (step S2).
図1に示す例では、計測コード列200に対して、格子状コードパターン221,222,223,224の各々が囲む領域について、欠損している3つのプリミティブを除く、すべてのプリミティブをモデルワードと対応付けることができる。
In the example shown in FIG. 1, for the
最終的に、画像計測装置は、ステップS1およびステップS2において探索された、モデルコード列とワードとの対応関係に基づいて、投影パターンPの照射基準面から対象物の各部までの距離を算出する。この算出された距離の集合を三次元計測結果画像として表現できる。 Finally, the image measurement device calculates the distance from the irradiation reference plane of the projection pattern P to each part of the object based on the correspondence between the model code string and the word searched in steps S1 and S2. . A set of calculated distances can be expressed as a three-dimensional measurement result image.
本実施の形態に従う画像計測システムは、モデルコードと対応領域との対応関係を厳密に決定した上で、予め定められた数のコードが不一致であることを許容する緩和された条件下で、対応関係が決定できなかったモデルコードについて対応領域を探索するので、何らかの原因で入力画像にノイズが含まれている場合であっても、対象物までの距離を適切に算出できる。 The image measurement system according to the present embodiment strictly determines the correspondence relationship between the model code and the corresponding area, and then performs the correspondence under relaxed conditions that allow a predetermined number of codes to be mismatched. Since the corresponding area is searched for the model code for which the relationship could not be determined, the distance to the object can be calculated appropriately even if the input image contains noise for some reason.
<B.装置構成>
次に、本実施の形態に従う計測システム1を構成する装置構成例について説明する。
<B. Device configuration>
Next, an example of the configuration of devices constituting the
(b1:計測ヘッド10)
図2は、本実施の形態に従う計測システム1を構成する計測ヘッド10の構成例を示す模式図である。図2を参照して、計測ヘッド10は、処理部11と、投光部12と、撮像部13と、表示部14と、記憶部15とを含む。
(b1: measuring head 10)
FIG. 2 is a schematic diagram showing a configuration example of
処理部11は、計測ヘッド10における全体処理を司る。処理部11は、典型的には、プロセッサと、プロセッサで実行される命令コードを格納するストレージと、命令コードを展開するメモリとを含む。この場合、処理部11において、プロセッサが命令コードをメモリ上に展開して実行することで各種処理を実現する。処理部11の全部または一部を専用のハードウェア回路(例えば、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)など)を用いて実装してもよい。
The
表示部14は、計測ヘッド10において取得あるいは算出された各種情報を外部へ通知する。
The
記憶部15は、撮像部13により撮像された画像や予め設定されるキャリブレーションパラメータなどを格納する。
The
通信インターフェイス(I/F)部16は、計測ヘッド10と画像計測装置100との間のデータの遣り取りを担当する。
A communication interface (I/F)
(b2:画像計測装置100)
図3は、本実施の形態に従う計測システム1に含まれる画像計測装置100の構成例を示す模式図である。典型的には、画像計測装置100は、汎用コンピュータを用いて実現される。図3を参照して、画像計測装置100は、プロセッサ102と、メインメモリ104と、ストレージ106と、入力部108と、表示部110と、光学ドライブ112と、下位インターフェイス部114と、上位インターフェイス部116とを含む。これらのコンポーネントは、プロセッサバス118を介して接続されている。
(b2: image measuring device 100)
FIG. 3 is a schematic diagram showing a configuration example of
プロセッサ102は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで構成され、ストレージ106に格納されたプログラム(一例として、OS1060および三次元計測プログラム1062)を読出して、メインメモリ104に展開して実行することで、後述するような各種処理を実現する。
The
メインメモリ104は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などの揮発性記憶装置などで構成される。ストレージ106は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの不揮発性記憶装置などで構成される。
The
ストレージ106には、基本的な機能を実現するためのOS1060に加えて、画像計測装置100としての機能を提供するための三次元計測プログラム1062が格納される。
The
入力部108は、キーボードやマウスなどで構成され、ユーザ操作を受付ける。表示部110は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ102からの処理結果などを出力する。
The
下位インターフェイス部114は、計測ヘッド10との間のデータの遣り取りを担当する。上位インターフェイス部116は、図示しない上位装置(例えば、PLC(プログラマブルコンピュータ))との間のデータの遣り取りを担当する。
The
画像計測装置100は、光学ドライブ112を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体115(例えば、DVD(Digital Versatile Disc)などの光学記録媒体)から、その中に格納されたプログラムが読取られてストレージ106などにインストールされる。
The
画像計測装置100で実行される三次元計測プログラム1062などは、コンピュータ読取可能な記録媒体115を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、本実施の形態に従う三次元計測プログラム1062が提供する機能は、OSが提供するモジュールの一部を利用する形で実現される場合もある。
The three-
図3には、プロセッサ102がプログラムを実行することで、画像計測装置100として必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路(例えば、ASICまたはFPGAなど)を用いて実装してもよい。
FIG. 3 shows a configuration example in which the necessary functions of the
<C.三次元計測>
次に、本実施の形態に従う計測システム1による三次元計測について説明する。本実施の形態においては、構造化照明と称される手法を用いて三次元計測を実現する。構造化照明の手法では、予め定められた投影パターンを対象物に照射するともに、投影パターンが照射された状態で対象物を撮像することで得られる画像(以下、「入力画像」とも称す)に基づいて対象物の位置(投光部または受光部からの距離)を計測する計測システムに関する。すなわち、対象物の形状が計測される。
<C. Three-dimensional measurement>
Next, three-dimensional measurement by
本実施の形態においては、構造化照明の一例として、予め定められた投影パターン(典型的には、濃淡パターン)をもつ計測光が照射する方法を採用する。 In this embodiment, as an example of structured illumination, a method of irradiating measurement light having a predetermined projection pattern (typically, a light and shade pattern) is adopted.
本実施の形態に従う計測システム1は、予め定められた投影パターンを投光部12から対象物に照射した状態で、当該対象物を撮像した画像である入力画像を取得する取得部に相当する撮像部13を有している。以下の説明においては、投光部12の照射面を投影パターンPの「照射基準面」とみなす。
計測システム1において、計測ヘッド10に含まれる投光部12と撮像部13との間でキャリブレーションが実行されており、投光部12および撮像部13の光学パラメータおよび両者を関連付ける行列は予め決定されている。投光部12および撮像部13の光学パラメータは、いずれも同じ基準点に基づいて決定されており、投光部12の投影面の高さを指定すれば、投光部12から照射される投影パターンが撮像部13の受光面上のどの画素に対応するのかを算出できる。
In the
投光部12から照射される投影パターンは、投光部12の光軸に対する対象物の位置や傾きに応じて大きさや位置(隣接する要素間の間隔の伸縮)が変化することになり、このような情報に基づいて、三角測量の原理によって、対象物の形状を計測できる。
The projection pattern emitted from the
図4は、本実施の形態に従う計測システム1の計測ヘッド10から照射される投影パターンの一例を示す図である。図5は、本実施の形態に従う計測システム1が実行する三次元計測の原理を説明するための図である。
FIG. 4 is a diagram showing an example of a projection pattern emitted from
計測ヘッド10の投光部12からは、例えば、図4に示すような投影パターンPを含む計測光を対象物に照射する。計測ヘッド10の撮像部13は、投影パターンPが投影された状態で対象物を撮像する。
The
図5に示す投影パターンPは、空間コードを格子状に配置したもの(以下、「格子状コード」とも称す。)であって、所定方向において所定長のパターンについて自己相関が生じないような固有のコードが割当てられている。より具体的には、投影パターンPは、複数種類のプリミティブ(基準パターンに相当)の組合せによって規定される。図5(A)には、4種類のプリミティブが示される。各プリミティブは、それぞれに割当てられたコード(図5(A)に示す例では、1~4の4つの数値)を示す。
The projected pattern P shown in FIG. 5 is a spatial code arranged in a lattice (hereinafter also referred to as a "lattice code"), and is a unique pattern that does not generate autocorrelation for a pattern of a predetermined length in a predetermined direction. code has been assigned. More specifically, the projected pattern P is defined by a combination of multiple types of primitives (corresponding to reference patterns). FIG. 5A shows four types of primitives. Each primitive indicates a code assigned to it (four
各プリミティブは、4つの大きな正方形Qa~Qdと、中心部に位置する1つの小さな正方形Qe)とで構成される。正方形Qa~Qdの各々は、プリミティブ位置Rがコーナとなるように配置されている。プリミティブ位置Rは、小さな正方形Qeの中心位置でもある。 Each primitive consists of four large squares Qa-Qd and one small square Qe located in the center. Each of the squares Qa to Qd is arranged so that the primitive position R is the corner. The primitive position R is also the center position of the small square Qe.
図5(A)に示すように、大きな正方形Qa~Qdの交点(格子のコーナ一点)がプリミティブ位置Rと定義される。なお、プリミティブ位置Rについての大きさおよび形状については限定されない。プリミティブの各々が三次元点の1つとして復元される。 As shown in FIG. 5A, a primitive position R is defined as an intersection of large squares Qa to Qd (one corner point of the grid). Note that the size and shape of the primitive position R are not limited. Each primitive is reconstructed as one of the 3D points.
図5(A)に示すように、プリミティブ位置Rが「白」のときp0=1とし、「黒」のときp0=0とし、プリミティブ位置Rの左上の大きい正方形Qbが「白」のときp1=1とし、「黒」のときp1=0と表現する。プリミティブの種類は、2p1+p0と数値表現できる。 As shown in FIG. 5A, p 0 =1 when the primitive position R is “white”, p 0 =0 when it is “black”, and the large square Qb on the upper left of the primitive position R is “white”. p 1 =1 when black, and p 1 =0 when black. The type of primitive can be numerically expressed as 2p 1 +p 0 .
図5(B)には、投影パターンP(図4参照)の部分に含まれるプリミティブの種類を数値で表現したものである。すなわち、投影パターンPに含まれる各プリミティブの種類を特定し、各特定したプリミティブの種類を数値で表現することにより、投影パターンPと等価な行列Kを生成できる。 FIG. 5B shows numerical values representing the types of primitives included in the projection pattern P (see FIG. 4). That is, a matrix K equivalent to the projection pattern P can be generated by specifying the type of each primitive included in the projection pattern P and expressing the specified type of each primitive with a numerical value.
以下の説明においては、投影パターンPの面内方向をX方向およびY方向と規定するとともに、光軸方向(高さ)方向をZ方向と規定する。 In the following description, the in-plane directions of the projection pattern P are defined as the X direction and the Y direction, and the optical axis direction (height) direction is defined as the Z direction.
図5(C)には、図5(B)に示す行列Kの部分行列を示す。行列Kに設定される所定の大きさ(ワード高さHword×ワード幅Wword)の部分行列を想定する。このような部分行列を「ワード」とも称する。すなわち、各ワードは、所定数のプリミティブの種類の組合せ(図5(C)に示す例では、3×3)によって規定される。投影パターンPは、すべてのワードの各々がユニークとなるように、プリミティブが配置されることで生成される。 FIG. 5(C) shows a submatrix of the matrix K shown in FIG. 5(B). Assume a submatrix of a given size (word height H word × word width W word ) set in the matrix K. Such a submatrix is also called a "word". That is, each word is defined by a predetermined number of combinations of primitive types (3×3 in the example shown in FIG. 5(C)). The projected pattern P is generated by arranging the primitives so that each of all words is unique.
投影パターンPが対象物に照射した状態で撮像することで取得される入力画像から、行列Kに含まれるすべてのワードが抽出される。なお、プリミティブを抽出して、ワードを特定あるいは再構成する処理を(ワードの)「デコード」とも称す。 All the words contained in the matrix K are extracted from an input image obtained by capturing an object while the projection pattern P is irradiated onto the object. Note that the process of extracting primitives and identifying or reconstructing words is also called (word) "decoding".
図5(C)には、抽出された3つのワード(ワードW1,W2,W3)を示している。入力画像に写るパターンからすべてのワードを抽出したときに、各抽出したワード中に部分行列の数値の並びがユニークであれば、そのワードのパターン中での位置が特定される。すなわち、投影パターンPにおける位置(ワードの位置)を特定できる。 FIG. 5C shows three extracted words (words W1, W2, W3). When all words are extracted from the pattern appearing in the input image, if each extracted word has a unique sequence of numerical values in the submatrix, the position of the word in the pattern is specified. That is, the position (word position) in the projection pattern P can be specified.
計測ヘッド10(投光部12)から投影パターンPを照射する場合において、対象物の表面形状に応じて、照射された像から特定されるワードの位置は変化することになる。 When the projection pattern P is irradiated from the measurement head 10 (projection unit 12), the position of the word specified from the irradiated image changes according to the surface shape of the object.
このような投影パターンPを対象物に照射した状態で対象物を撮像して得られる画像に含まれるプリミティブから規定されるワードの大きさおよび隣接するワード間の位置ずれに基づいて、計測ヘッド10から対象物の各部までの距離および対象物の三次元形状を計測できる。
Based on the size of a word defined from primitives included in an image obtained by capturing an image of an object while irradiating the object with the projection pattern P and the displacement between adjacent words, the
例えば、図5(C)に示す例においては、隣り合うワードW1~W3は一部のプリミティブを共有している。 For example, in the example shown in FIG. 5C, adjacent words W1 to W3 share some primitives.
画像計測装置100(図2参照)は、それぞれの計測ヘッド10から出力される画像に対して、プリミティブの抽出処理、ならびに、抽出されたプリミティブにより特定されたワードの位置および大きさの評価処理を実行することで、対象物の三次元形状の計測結果を出力する。
The image measurement device 100 (see FIG. 2) performs primitive extraction processing and evaluation processing of the position and size of the word specified by the extracted primitive for the image output from each
なお、図5(A)には、4種類のプリミティブを使用する例を示すが、プリミティブの種類数は4種類に限定されない。また、図5(A)に示すようなプリミティブの形状および色に限定されることなく、任意の形状および色を採用できる。 Although FIG. 5A shows an example using four types of primitives, the number of types of primitives is not limited to four. Also, any shape and color can be adopted without being limited to the shape and color of the primitive as shown in FIG.
また、プリミティブの検出手法としては、各プリミティブをモデルとしたパターンマッチングや、黒画素方向/白画素方向および中央値の色を条件とするフィルタ処理などを採用できる。 As a method for detecting primitives, pattern matching using each primitive as a model, filter processing using black pixel direction/white pixel direction and median color as conditions, and the like can be adopted.
例えば、5M画素のカメラ(≒2500×2000画素)を採用し、その視野を視野500mm×400mmとする。ここで、1つのプリミティブが5画素で形成され、1ワードが5×5(計25個)のプリミティブにより構成される場合を想定する。 For example, a camera with 5M pixels (≈2500×2000 pixels) is adopted and its field of view is assumed to be 500 mm×400 mm. Here, it is assumed that one primitive is made up of 5 pixels and one word is made up of 5×5 (total 25) primitives.
この場合には、プリミティブのピッチは、約1mm(=500mm/(2500画素/5画素))となり、最小検出幅は5mm(=1mm×5画素)となる。1つのワードを検出するためには、5×5画素が必要であるので、投光部12と撮像部13との間の対応付けには、5mm×5mmの面積が必要となる。なお、三次元情報の空間分解能(X-Y方向)」は、プリミティブの単位(この例では、1mm×1mm)となる。
In this case, the primitive pitch is about 1 mm (=500 mm/(2500 pixels/5 pixels)) and the minimum detection width is 5 mm (=1 mm×5 pixels). Since 5×5 pixels are required to detect one word, an area of 5 mm×5 mm is required for the correspondence between the light projecting
なお、以下の説明においては、復元された(あるいは、復元されるべき)三次元空間上の点の集合を「点群」とも称す。すなわち、「点群」は、各プリミティブに対応して計算される(あるいは、計算されるべき)三次元空間上の点の集合を意味する。 In the following description, a set of points on the three-dimensional space that have been restored (or should be restored) will also be referred to as a "point group". That is, a "point group" means a set of points on a three-dimensional space that are calculated (or should be calculated) corresponding to each primitive.
<D.解決すべき課題および解決手段>
次に、本実施の形態に従う計測システム1が解決すべき課題および解決手段について説明する。
<D. Problems to be solved and solutions>
Next, problems to be solved by the
図6は、本実施の形態に従う計測システム1による計測形態の一例を示す模式図である。図6を参照して、平坦状のワーク4の三次元形状の測定を想定する。平坦状のワーク4の上面には、所定幅を有する突起部5が形成されている。図6に示す例においては、突起部5の幅は、図5(C)において説明したワードを再構成するために必要な距離(ワード幅Wword)より狭いとする。すなわち、突起部5の露出面に照射されて現れるパターンと、突起部5以外のワーク4の露出面に照射されて現れるパターンとの間にはギャップが生じるとともに、現れるプリミティブの大きさなども異なったものとなる。
FIG. 6 is a schematic diagram showing an example of a measurement mode by
その結果、検出されたプリミティブの種類から再構成されるワードは、いずれのプリミティブ種類の組合せにも合致しなくなり、パターン中の各ワードの位置を特定できない。その結果、突起部5の形状情報を取得できない(高さ情報が欠損する)状態になる。
As a result, the words reconstructed from the detected primitive types will not match any combination of primitive types, and the position of each word in the pattern cannot be determined. As a result, the shape information of the
図7は、図6に示すワークを撮像することで得られる入力画像に対するプリミティブの検出結果の一例を示す図である。図7(A)には、平坦部を視野とする入力画像に対するプリミティブの検出結果の一例を示し、図7(B)には、凸部を視野とする入力画像に対するプリミティブの検出結果の一例を示す。 FIG. 7 is a diagram showing an example of primitive detection results for an input image obtained by imaging the work shown in FIG. FIG. 7A shows an example of primitive detection results for an input image whose field of view is a flat portion, and FIG. 7B shows an example of primitive detection results for an input image whose field of view is a convex portion. show.
図7(A)を参照して、計測面が平坦であれば、ワードの再構成に必要な数のプリミティブを検出できる。これによって、投光部12と撮像部13との間を対応付けることができるので、各点について三次元情報を復元できる。
Referring to FIG. 7A, if the measurement surface is flat, the number of primitives required for word reconstruction can be detected. As a result, the
これに対して、図7(B)に示すように、計測面にワード幅以下の凹凸がある場合であって、段差が相対的に大きい場合には、段差により生じるプリミティブの歪み、コントラストの低下、相対的に大きな視差の発生などにより、プリミティブの検出に失敗する(図7(B)の「プリミティブ検出不可」の領域)。この結果、ワードの再構成に必要な数のプリミティブが揃わないので、投光部12と撮像部13との間を対応付けることができず、プリミティブの検出に失敗した領域だけではなく、その周辺も含めて、点群の三次元情報を復元できないことになる(図7(B)の「点群欠損」の領域)。このように、点群欠損の領域について検出されるコードは不完全なコードとなっている。
On the other hand, as shown in FIG. 7B, when the measurement surface has unevenness equal to or smaller than the word width and the step is relatively large, the distortion of the primitive caused by the step and the reduction in contrast , the occurrence of relatively large parallax, etc., the detection of primitives fails (area of "primitive detection not possible" in FIG. 7B). As a result, since the number of primitives required for word reconstruction is not available, the correspondence between the light projecting
図8は、図7(B)に示すプリミティブ検出結果に対応する三次元情報の復元結果の一例を示す図である。平坦状のワーク4に形成された突起部5の幅がワードを再構成するために必要な幅に満たない場合には、図8に示すように、突起部5の周辺については、点群の三次元情報が存在しない(点群欠損の領域)となる。
FIG. 8 is a diagram showing an example of a restoration result of three-dimensional information corresponding to the primitive detection result shown in FIG. 7(B). When the width of the
図9は、図8に示す三次元情報の復元結果に対して三次元情報を推定する処理を説明するための図である。図9に示す例において、点群欠損となった領域については、ワードを再構成できるだけのプリミティブを検出できていないが、実際には、4つのプリミティブの検出には成功している。本実施の形態に従う計測システム1は、このような点群欠損となった領域内で検出されたプリミティブを、近傍のプリミティブの情報を用いて救済することで、点群の三次元情報を推定する。
FIG. 9 is a diagram for explaining the process of estimating three-dimensional information for the restoration result of the three-dimensional information shown in FIG. In the example shown in FIG. 9, in the area where the point group is missing, primitives enough to reconstruct a word cannot be detected, but actually four primitives are successfully detected. The
すなわち、本実施の形態に従う計測システム1は、このような、投影パターンPに含まれる単一のワードの大きさより変化幅の小さい部分(点群欠損領域)などについて、三次元情報を推定する処理を提供する。
That is, the
なお、図9において、X1は、入力画像上の点群欠損領域のうちプリミティブが検出できている右側の境界を示し、X2は、入力画像上の点群の三次元情報を復元できている領域(ワードを再構成できている領域)の左側の境界を示す。 In FIG. 9, X1 indicates the right boundary of the missing point cloud region on the input image where primitives can be detected, and X2 indicates the region where the three-dimensional information of the point cloud on the input image can be restored. Indicates the left boundary of (region where words can be reconstructed).
図10は、本実施の形態に従う計測システム1における周辺探索の処理を説明する模式図である。図10には、照射されたパターンから検出された各プリミティブをコード化した結果の一例を示す。すなわち、検出された各プリミティブの種類を対応する符号で表現した例を示す。
10A and 10B are schematic diagrams for explaining the peripheral search processing in the
単なる周辺探索では、任意の注目プリミティブを基準にして、上下左右で隣接しているプリミティブを検出することでワードを復元する。周辺探索の範囲を広くすれば、デコード処理に時間を要する。また、隣接するプリミティブが欠損している場合、周辺探索ではワードを復元することができない。そこで、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理を適用することで、隣接するプリミティブが欠損している場合であっても、デコード処理が適切に実行されるようにする。
In a simple neighborhood search, a word is restored by detecting primitives that are adjacent above, below, left, and right with respect to an arbitrary primitive of interest. If the peripheral search range is widened, the decoding process takes time. Also, if adjacent primitives are missing, the neighborhood search cannot recover the word. Therefore, by applying the process of estimating the three-dimensional information provided by the
<E.推定処理>
次に、本実施の形態に従う計測システム1による三次元情報を推定する処理(以下、単に「推定処理」と称することもある。)の処理手順について説明する。
<E. Estimation processing>
Next, a processing procedure for estimating three-dimensional information (hereinafter sometimes simply referred to as “estimation processing”) by
図11は、本実施の形態に従う計測システム1において用いられる投影パターンの一例を示す図である。以下の説明においては、一例として、図11(A)に示すような投影パターンPを照射する場合を想定する。図11(B)に示すように、図11(A)の投影パターンPに対応するプリミティブが示すコード(一例として、0~3のいずれかの値)のコード列を示す。図11(B)に示すコード列に設定される任意のワードを「モデルワード」とも称す。
FIG. 11 is a diagram showing an example of projection patterns used in
ここで、投光部12および撮像部13は、各々の光軸が平行であるとともに、それぞれの光軸はX軸と平行であるとする。また、複数のプリミティブで構成されるワードのサイズは3×3であるとする。
Here, it is assumed that the optical axes of the
ワードを再構成する処理(格子状コードパターンの認識アルゴリズム)においては、入力画像全体に対してプリミティブの検出処理が先に実行され、続いて、近傍のプリミティブ同士を対応付けることでワードを再構成する。 In the word reconstruction process (lattice code pattern recognition algorithm), primitive detection processing is first performed on the entire input image, and then words are reconstructed by associating neighboring primitives. .
図12は、本実施の形態に従う計測システム1において入力画像から検出されたプリミティブから得られるデコード結果の一例を示す図である。
FIG. 12 is a diagram showing an example of decoding results obtained from primitives detected from an input image in
対象物の露出面が投光部12および撮像部13の光軸に垂直な平面であれば、撮像部13により撮像される入力画像に現れるパターンは、図11(A)に示されるような歪みのないパターンとなる。一方、対象物の露出面に凹凸が存在する場合には、図12に示すように、検出されたプリミティブの位置はエピポーララインの方向にずれることになる。さらに、遮へいや潰れなどの光学的な要因により、検出できないプリミティブ(プリミティブの欠損;図12に示すハッチングされた数字の部分)が生じ得る。
If the exposed surface of the object is a plane perpendicular to the optical axes of the
図13は、本実施の形態に従う計測システム1におけるエピポーララインを説明するための図である。図13を参照して、投光部12の視野と撮像部13の視野との重複領域内において、対象物が奥行き方向に変化した場合に、両光軸の交点が変化する線がエピポーラライン32に相当する。エピポーラライン32に沿ってパターンをずらすことは、投光部12の投影面からの距離を変更することを意味する。
FIG. 13 is a diagram for explaining epipolar lines in
以下の説明においては、図11(B)に示されるモデルコード列を図12に示される検出されたコード列(以下、「計測コード列」とも称す。)と対応付ける具体的な手順について説明する。 In the following description, a specific procedure for associating the model code string shown in FIG. 11B with the detected code string (hereinafter also referred to as "measurement code string") shown in FIG. 12 will be described.
(1:コード列の探索)
先に、画像計測装置100は、照射された投影パターンPに含まれる各プリミティブ(基準パターンに相当)を入力画像内で探索することで、各プリミティブが照射された位置および当該照射されたプリミティブが示すコードの集合である計測コード列を取得する。
(1: Search for code string)
First, the
そして、画像計測装置100は、投影パターンPに設定されるワード(単位領域に相当)に含まれる所定数のコードからなるモデルコード列と同一の配列を示す格子状コードパターン(対応領域に相当)を計測コード列(コードの集合)から探索する。
Then, the
このとき、照射された投影パターンPに含まれる各プリミティブ(基準パターン)は、エピポーララインに沿ってずれることになるので、入力画像のエピポーララインに沿って格子状コードパターンを探索することが好ましい。 At this time, each primitive (reference pattern) included in the irradiated projection pattern P is shifted along the epipolar lines, so it is preferable to search for the grid-like code pattern along the epipolar lines of the input image.
より具体的には、図11(B)に示すモデルコード列に含まれるモデルワード201の第一行のコード「302」を、図12に示す計測コード列の第一行のコード列から探索する。同様に、モデルワード201の第二行のコード「121」を、図12に示す計測コード列の第二行のコード列から探索し、モデルワード201の第三行のコード「202」を、図12に示す計測コード列の第三行のコード列から探索する。モデルワード201については、各行のコードの探索に成功するので、格子状コードパターン211の認識を確定できる。
More specifically, the code string of the first line of the measurement code string shown in FIG. 12 is searched for the code "302" of the first line of the
次に、図11(B)に示すモデルコード列において右隣のワードに移り、モデルワード201と同様に、各行のコードの探索を試みる。しかしながら、この例においては、「3」が欠損しているため検出できない。
Next, in the model code string shown in FIG. 11(B), the search for the code of each row is attempted in the same way as the
そのため、さらに右隣のモデルワードに移り、モデルワード202を設定し、ワードの再構成を試みると、「213」,「130」,「213」の各行のコード列を探索できるので、格子状コードパターン212の認識を確定できる。
Therefore, if we move to the next model word on the right, set the
図11(B)に示すコード列に対してモデルコード列を左端から右端に向けて、順次設定するとともに、上述したようなワードの再構成に係る一連の操作を繰返す。モデルコード列が右端に到達するとその行に対するモデルコード列の設定は終了し、ワード高さ分(図12に示す例では3行分)だけ下に移動して、再度左端から右端に向けてモデルコード列を順次設定するとともに、ワードの再構成に係る一連の操作を繰返す。すると、格子状コードパターン213および格子状コードパターン214の認識を確定できる。
The model code string is sequentially set from the left end to the right end for the code string shown in FIG. 11(B), and the above-described series of word reconstruction operations are repeated. When the model code string reaches the right end, the setting of the model code string for that row is completed, the model code string is moved downward by the word height (three lines in the example shown in FIG. 12), and the model code is again drawn from the left end to the right end. While sequentially setting the code string, a series of operations relating to word reconstruction is repeated. Then, recognition of
以上の操作によって、キーとなる格子状コードパターンを確定できたので、次に、同一行内において確定された格子状コードパターン間に存在する未確定の格子状コードパターンを確定させる。ここで、画像計測装置100は、投影パターンPに含まれるモデルコード列のうち格子状コードパターン(対応領域)の探索に失敗したモデルコード列について、予め定められた数のコードが不一致であることを許容する条件下において、計測コード列から再度探索する。
With the above operation, the key grid code pattern has been determined. Next, an undetermined grid code pattern existing between grid code patterns determined in the same row is determined. Here, the
この再度の探索においては、モデルコード列に含まれる各コードと一致するコードを計測コード列(コードの集合)から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する。 In this second search, after searching the measurement code string (set of codes) for codes that match each code included in the model code string, the number of codes that failed to be searched in the search is a predetermined number. Confirm the recognition of the model code string if:
図14は、本実施の形態に従う計測システム1において入力画像から検出されたプリミティブから得られる最終のデコード結果の一例を示す図である。図14に示すように、以上の操作により、格子状コードパターン221~格子状コードパターン224で囲まれる領域だけでなく、欠損しているプリミティブを除く、すべてのプリミティブがモデルワードと対応付けられたことになる。
FIG. 14 is a diagram showing an example of final decoding results obtained from primitives detected from an input image in
図14に示す例においては、モデルワード201の右隣りに存在するモデルワード205(「020」,「213」,「021」)を、計測コード列から不一致数「1」を許して探索すると、それぞれ「020」,「21X」,「021」を検出できる。但し、Xは、コードが一致してないこと(すなわち、検出に失敗したこと)を示す。図14に示す例では、本来は「3」が存在しなければならないところ、その「3」が欠損している。
In the example shown in FIG. 14, if the model word 205 (“020”, “213”, “021”) existing on the right side of the
同様に、モデルワード203とモデルワード204との間にあるモデルワード206(「021」,「202」,「131」)を、計測コード列から不一致数「1」を許して探索すると、それぞれ「021」,「20X」,「131」を検出できる。また、モデルワード203とモデルワード204との間にあるモデルワード207(「313」,「131」,「302」)を、計測コード列から不一致の許容数「1」として探索すると、それぞれ「313」,「X31」,「302」を検出できる。
Similarly, if the model word 206 (“021”, “202”, “131”) between the
(2:格子状コードパターン法に基づく距離推定)
上述のような操作により、モデルワードと対応付けられたプリミティブの位置情報に基づいて距離を推定する。すなわち、画像計測装置100は、先の探索処理により探索された、モデルコード列から構成するモデルワードの位置と基準面に投影されるワードの位置関係に基づいて、投影パターンPの照射基準面から対象物の各部までの距離を算出する。
(2: Distance estimation based on lattice code pattern method)
By the operation as described above, the distance is estimated based on the positional information of the primitive associated with the model word. That is, the
例えば、格子状コードパターンのサイズに相当する3×3の単位で、入力画像上で左右上下に1ワードずつずらしながら、それぞれの重心位置を算出し、それぞれ算出された重心位置に基づいて、計測ヘッド10からの距離を算出してもよい。
For example, in units of 3×3, which corresponds to the size of a grid-like code pattern, the position of the center of gravity is calculated while shifting the input image one word at a time, left, right, up and down. A distance from the
一方、上述したようなワード単位での距離算出ではなく、プリミティブ単位で距離を算出してもよい。この場合には、空間的に密(XY方向)な距離データの波形を得ることができる。 On the other hand, instead of calculating the distance in word units as described above, the distance may be calculated in primitive units. In this case, a spatially dense (XY direction) distance data waveform can be obtained.
(3:応用例・変形例)
上述の探索方法は、モデルコード列の全領域に対して適用してもよいが、例えば、特許文献1に開示される周辺探索によって格子状コードパターンの対応付けを行った後に、対応付けに失敗した部分領域に対して適用するようにしてもよい。このように段階的な対応付けを行うことにより、対応付けを誤ってしまうというリスクを軽減しつつ、対応付け可能数を増加させることができる。
(3: Application example/Modification example)
The search method described above may be applied to the entire region of the model code string. It may also be applied to the partial area. By performing step-by-step association in this way, it is possible to increase the number of possible associations while reducing the risk of erroneous association.
上述の探索方法において、対象物の奥行き方向の存在範囲、すなわち発生する視差の大きさに制約条件を設けていなかったが、所定の制約条件を設けるようにしてもよい。このような奥行き方向の制約条件を設けることで、プリミティブコードの探索範囲が制限されるので、計算時間を削減できるとともに、対応付けを誤ってしまうというリスクを軽減できる。 In the search method described above, no constraint condition is provided for the existing range of the object in the depth direction, that is, the magnitude of the generated parallax, but a predetermined constraint condition may be provided. By providing such a constraint condition in the depth direction, the search range of the primitive code is limited, so that the calculation time can be reduced and the risk of erroneous association can be reduced.
上述の探索方法においては、モデルコード列の左上からモデルワードを順次設定する例を示した。この設定方法によれば、モデルコード列の下端あるいは右端に対応付けできないプリミティブが発生し得る。このような場合には、左上からモデルワードを順次設定する方法に代えて、あるいは、左上からモデルワードを順次設定するに加えて、モデルコード列の右上からモデルワードを順次設定するようにしてもよい。すなわち、モデルワードを順次設定する走査方向を複数に設定し、これらを併用することで、プリミティブの対応付け数を増加させることができる。 In the search method described above, an example was shown in which the model words are set sequentially from the upper left of the model code string. According to this setting method, there may be primitives that cannot be associated with the lower end or the right end of the model code string. In such a case, instead of setting the model words sequentially from the upper left, or in addition to setting the model words sequentially from the upper left, the model words may be set sequentially from the upper right of the model code string. good. That is, by setting a plurality of scanning directions in which model words are sequentially set and using them together, it is possible to increase the number of associated primitives.
また、上述の探索方法においては、未確定の格子状コードパターンを確定させるにあたって、計測コード列内で既に確定された格子状コードパターンをキーポイントとして間を埋めるように他の格子状コードパターンを決定(内挿)したが、これに限られない。例えば、特許文献1に開示されるような周辺探索によって確定された格子状コードパターンが計測コード列の外側に存在するのであれば、そのような外側に存在する格子状コードパターンとの間で内挿処理を実行してもよい。このような内挿処理の範囲を拡大することで、例えば、図14において、格子状コードパターン223の左側に位置し、対応付けできていない3点「312」を対応付けることができる。
In the above-described search method, when determining an undetermined grid code pattern, another grid code pattern is selected so as to fill in the gaps by using the grid code pattern already determined in the measurement code string as a key point. Although determined (interpolated), it is not limited to this. For example, if a grid-like code pattern determined by a peripheral search as disclosed in
上述の説明においては、一例として3×3の格子状コードパターンを採用したが、この格子状コードパターンのサイズは任意に設計でき、例えば5×5の格子状コードパターンを採用してもよい。 In the above description, a 3×3 lattice code pattern is used as an example, but the size of this lattice code pattern can be designed arbitrarily. For example, a 5×5 lattice code pattern may be used.
<F.機能構成>
次に、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理を実現するための機能構成について説明する。
<F. Functional configuration>
Next, a functional configuration for realizing processing for estimating three-dimensional information provided by
図15は、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理を実現するための機能構成の一例を示す模式図である。図15に示す各機能は、典型的には、画像計測装置100のプロセッサ102が三次元計測プログラム1062を実行することで実現される。
FIG. 15 is a schematic diagram showing an example of a functional configuration for realizing processing for estimating three-dimensional information provided by
図15を参照して、画像計測装置100は、計測ヘッド10と接続されており、投影パターンPを対象物に照射した状態で、対象物を撮像することで得られる入力画像に基づいて、三次元情報および二次元画像(入力画像と実質的に同一)を出力する。より具体的には、画像計測装置100は、パターン検出部150と、1次探索部152と、欠損部分抽出部154と、パターン生成部156と、2次探索部160と、三次元情報復元部162とを含む。
Referring to FIG. 15, the
パターン生成部156は、予め定められた投影パターンPを生成し、投光部12およびパターン検出部150へ出力する。投光部12は、パターン生成部156から指示された投影パターンPを対象物に照射する。
The
パターン検出部150は、照射された投影パターンPに含まれる各プリミティブ(基準パターン)を入力画像内で探索することで、各プリミティブが照射された位置および当該照射されたプリミティブが示すコードの集合を生成する。より具体的には、パターン検出部150は、撮像部13が対象物を撮像することで生成される入力画像を受けて、当該入力画像中に現れる濃淡パターンからプリミティブを検出する。
The
1次探索部152は、投影パターンPに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索する。すなわち、1次探索部152は、パターン検出部150により生成されたコードの集合を取得し、投影パターンPに設定されるワード(単位領域に相当)に含まれる所定数のプリミティブが示すコードの配列と同一の配列を示す格子状コードパターン(対応領域に相当)を当該コードの集合から探索する。1次探索部152は、検出したプリミティブおよびワードの位置を欠損部分抽出部154へ出力する。
The
欠損部分抽出部154は、1次探索部152が検出したプリミティブおよびワードの位置の情報に基づいて、ワードを再構成できなかった領域(高さ情報が欠損している部分)を特定する。欠損部分の情報は、2次探索部160へ出力される。
The missing
2次探索部160は、入力画像の欠損部分に対応する部分または当該対応する部分の周辺に対して、対応するプリミティブの探索およびワードの再構成を試みる。特定的には、2次探索部160は、投影パターンPに含まれるモデルコード列のうち格子状コードパターン(対応領域に相当)の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードをコードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する。2次探索部160による探索結果は、三次元情報復元部162へ出力される。
The
三次元情報復元部162は、距離算出部に相当し、1次探索部152および2次探索部160により探索された、モデルコード列と対応領域との対応関係に基づいて、投影パターンPの照射基準面(投光部12の照射面)から対象物の各部までの距離を算出する。より具体的には、三次元情報復元部162は、検出されたプリミティブおよびワードの位置に基づいて、入力画像に対応する視野内の三次元情報を復元する。
The three-dimensional
なお、図15には示していないが、三次元情報復元部162から出力される三次元情報に基づいて、ロボットを制御するなどの各種アプリケーション処理が実行されてもよい。
Although not shown in FIG. 15, various application processes such as controlling a robot may be executed based on the three-dimensional information output from the three-dimensional
<G.処理手順>
次に、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理を実現するための処理手順について説明する。
<G. Processing procedure>
Next, a processing procedure for realizing processing for estimating three-dimensional information provided by
図16は、本実施の形態に従う計測システム1が提供する三次元情報を推定する処理手順を示すフローチャートである。図16に示す各ステップは、典型的には、画像計測装置100のプロセッサ102が三次元計測プログラム1062を実行することで実現される。
FIG. 16 is a flowchart showing a processing procedure for estimating three-dimensional information provided by
図16を参照して、画像計測装置100は、投影パターンPを対象物に照射する(ステップS100)とともに、投影パターンPを対象物に照射した状態で対象物を撮像する(ステップS102)。
Referring to FIG. 16, the
続いて、画像計測装置100は、照射された投影パターンPに含まれる各プリミティブ(基準パターンに相当)を、ステップS102において取得した入力画像内で探索することで、各プリミティブが照射された位置および当該照射されたプリミティブが示す計測コード列(コードの集合に相当)を取得する(ステップS104)。すなわち、画像計測装置100は、入力画像に含まれるプリミティブを探索して、計測コード列を生成する。
Subsequently, the
続いて、画像計測装置100は、投影パターンPに設定されるワード(単位領域に相当)に含まれる所定数のコードからなるモデルコード列と同一の配列を示す格子状コードパターン(対応領域に相当)を計測コード列(コードの集合)から探索する(ステップS106)。すなわち、画像計測装置100は、投影パターンPに含まれるであろうワード(複数のプリミティブの組み合わせ)と同一のワードを入力画像内から探索する。
Next, the
そして、画像計測装置100は、入力画像内から探索されたワードの数および位置などに基づいて、欠損部分が存在するか否かを判断する(ステップS108)。欠損部分が存在しなければ(ステップS108においてNO)、処理はステップS122へ進む。
Then, the
欠損部分が存在していれば(ステップS108においてYES)、画像計測装置100は、投影パターンPに含まれるモデルコード列のうち格子状コードパターンの探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを計測コード列から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する。
If there is a missing portion (YES in step S108), the
具体的には、画像計測装置100は、格子状コードパターンの探索に失敗したモデルコード列のいずれかを選択する(ステップS110)。そして、画像計測装置100は、選択したモデルコード列に含まれる各コードと一致するコードを計測コード列から探索する(ステップS112)。画像計測装置100は、ステップS112における探索において探索に失敗したコードの数が予め定められた数以下であるか否かを判断する(ステップS114)。
Specifically, the
探索に失敗したコードの数が予め定められた数以下であれば(ステップS114においてYES)、画像計測装置100は、選択したモデルコード列の認識を確定する(ステップS116)。そして、処理はステップS120へ進む。
If the number of codes for which the search has failed is equal to or less than the predetermined number (YES in step S114),
これに対して、探索に失敗したコードの数が予め定められた数を超えていれば(ステップS114においてNO)、画像計測装置100は、選択したモデルコード列の認識を失敗と決定する(ステップS118)。そして、処理はステップS120へ進む。
On the other hand, if the number of codes for which the search has failed exceeds the predetermined number (NO in step S114),
ステップS120において、画像計測装置100は、格子状コードパターンの探索に失敗したモデルコード列のうち未処理のものが残っているか否かを判断する(ステップS120)。格子状コードパターンの探索に失敗したモデルコード列のうち未処理のものが残っていれば(ステップS120においてYES)、画像計測装置100は、格子状コードパターンの探索に失敗した別のモデルコード列を選択し(ステップS122)、ステップS112以下の処理を繰返す。すなわち、格子状コードパターン(対応領域)の探索に失敗したモデルコード列のすべてについて、探索処理が繰返される。
In step S120, the
格子状コードパターンの探索に失敗したモデルコード列のうち未処理のものが残っていなければ(ステップS120においてNO)、画像計測装置100は、探索されたモデルコード列と対応領域との対応関係に基づいて、投影パターンPの照射基準面から対象物の各部までの距離を算出する(ステップS124)。すなわち、画像計測装置100は、探索された格子状コードパターンの位置に基づいて、対象物の三次元情報を構成する。そして、処理は終了する。
If there are no unprocessed model code strings remaining in the grid code pattern search failure (NO in step S120), the
<H.変形例>
上述の実施の形態においては、予め定められた数のコードが不一致であることを許容する単一の条件を用いる処理例について説明したが、不一致であることを許容する条件を動的に変更するようにしてもよい。この場合、計測コード列に対する不一致の許容数を順次緩和して、探索処理を繰返すようにしてもよい。
<H. Variation>
In the above-described embodiment, a processing example using a single condition that allows a predetermined number of codes to be mismatched has been described. You may do so. In this case, the allowable number of mismatches with respect to the measurement code string may be gradually relaxed, and the search process may be repeated.
例えば、計測コード列に対する不一致の許容数をワードに含まれるプリミティブの数に対して「10%」を設定して、三次元情報の復元を試みる。この設定される不一致の許容数では、認識できないコードが多いため、三次元情報の復元が難しい場合には、その部位に対して不一致の許容数を「20%」に引き上げて、三次元情報の復元を再度試みる。 For example, the allowable number of mismatches for the instrumentation code string is set to 10% with respect to the number of primitives contained in the word, and an attempt is made to restore the 3D information. With this set allowable number of mismatches, there are many codes that cannot be recognized, so if it is difficult to restore the 3D information, raise the allowable number of mismatches for that part to "20%" and set the 3D information Attempt the restore again.
このように、不一致の許容数あるいは許容率を徐々に引き上げて、三次元情報の復元がうまくいくまで繰返すようにしてもよい。すなわち、画像計測装置100は、計測コード列に対する不一致の許容数である、予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返すようにしてもよい。
In this way, the allowable number of mismatches or the allowable rate may be gradually increased and repeated until the restoration of the three-dimensional information is successful. In other words, the
最初から不一致の許容数あるいは許容率を緩和する方法に比較して、誤った対応付けが生じ得る可能性を低減しつつ、三次元情報の復元の成功率を高めることができる。 Compared to the method of alleviating the allowable number or rate of mismatches from the beginning, it is possible to increase the success rate of restoration of three-dimensional information while reducing the possibility of erroneous matching.
<I.付記>
上述したような本実施の形態は、以下のような技術思想を含む。
[構成1]
予め定められた投影パターン(P)を対象物に照射した状態で、前記対象物を撮像した画像である入力画像を取得する取得部(10)を備え、前記投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものであり、
前記照射された投影パターンに含まれる各基準パターンを前記入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得する検出部(150)と、
前記投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索する第1の探索部(152)と、
前記投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを前記コードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する第2の探索部(160)と、
前記第1の探索部および前記第2の探索部により探索された、前記モデルコード列と対応領域との対応関係に基づいて、前記投影パターンの照射基準面から前記対象物の各部までの距離を算出する距離算出部(162)とを備える、計測システム。
[構成2]
前記第1の探索部および前記第2の探索部は、前記入力画像のエピポーラライン(32)に沿って探索する、構成1に記載の計測システム。
[構成3]
前記第2の探索部は、対応領域の探索に失敗したモデルコード列のすべてについて、探索処理を繰返す、構成1または2に記載の計測システム。
[構成4]
前記第2の探索部は、前記予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返す、構成1~3のいずれか1項に記載の計測システム。
[構成5]
予め定められた投影パターン(P)を対象物に照射した状態で、前記対象物を撮像した画像である入力画像を取得するステップ(S100,S102)を備え、前記投影パターンは、それぞれ固有のコードが割当てられた複数種類の基準パターンを所定規則に従って配置したものであり、
前記照射された投影パターンに含まれる各基準パターンを前記入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得するステップ(S104)と、
前記投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索するステップ(ステップS106)と、
前記投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを前記コードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定するステップ(S110,S112,114,S116,S122)と、
探索された前記モデルコード列と対応領域との対応関係に基づいて、前記投影パターンの照射基準面から前記対象物の各部までの距離を算出するステップ(S124)とを備える、計測方法。
[構成6]
前記基準パターンは、前記入力画像のエピポーラライン(32)に沿って探索される、構成5に記載の計測方法。
[構成7]
対応領域の探索に失敗したモデルコード列のすべてについて、探索処理が繰返される(S120,S122)、構成5または6に記載の計測方法。
[構成8]
前記予め定められた数を異ならせて、対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードの探索を繰返すステップをさらに備える、構成5~7のいずれか1項に記載の計測方法。
<I. Note>
The present embodiment as described above includes the following technical ideas.
[Configuration 1]
an acquisition unit (10) that acquires an input image that is an image of an object captured while a predetermined projection pattern (P) is projected onto the object, wherein each of the projection patterns has a unique code; A plurality of types of assigned reference patterns are arranged according to a predetermined rule,
A detection unit (150) that acquires a position where each reference pattern is irradiated and a set of codes indicated by the irradiated reference pattern by searching the input image for each reference pattern included in the irradiated projection pattern. )and,
a first search unit (152) for searching a set of codes for a corresponding region showing the same arrangement as a model code string consisting of a predetermined number of codes included in a unit region set in the projection pattern;
Among the model code strings included in the projection pattern, for a model code string for which a search for a corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and in the search, a second search unit (160) that confirms recognition of the model code string when the number of codes for which the search has failed is equal to or less than a predetermined number;
Based on the correspondence relationship between the model code string and the corresponding region searched by the first search unit and the second search unit, the distance from the irradiation reference plane of the projection pattern to each part of the object is calculated. A measurement system comprising a distance calculator (162) for calculating.
[Configuration 2]
The measurement system according to
[Configuration 3]
3. The measurement system according to
[Configuration 4]
wherein the second searching unit repeats searching for a code that matches each code included in the model code string for which the search for the corresponding region has failed, by varying the predetermined number. The measurement system according to any one of 1 to 3.
[Configuration 5]
A step (S100, S102) of acquiring an input image that is an image of the target object while a predetermined projection pattern (P) is projected onto the target object, wherein the projection patterns each have a unique code. A plurality of types of reference patterns assigned with are arranged according to a predetermined rule,
A step of searching the input image for each reference pattern included in the irradiated projection pattern to obtain a set of codes indicated by the irradiated position of each reference pattern and the irradiated reference pattern (S104). and,
a step of searching from the set of codes for a corresponding region exhibiting the same arrangement as a model code string consisting of a predetermined number of codes included in a unit region set in the projection pattern (step S106);
Among the model code strings included in the projection pattern, for a model code string for which a search for a corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and in the search, a step of confirming recognition of the model code string if the number of codes for which the search has failed is equal to or less than a predetermined number (S110, S112, 114, S116, S122);
A measuring method comprising a step (S124) of calculating distances from the irradiation reference plane of the projection pattern to each part of the object based on the correspondence relationship between the searched model code string and the corresponding area.
[Configuration 6]
6. The method of
[Configuration 7]
7. The measurement method according to
[Configuration 8]
<J.利点>
本実施の形態に従う画像計測システムは、モデルコードと対応領域との対応関係を厳密に決定した上で、予め定められた数のコードが不一致であることを許容する緩和された条件下で、対応関係が決定できなかったモデルコードについて対応領域を探索するので、何らかの原因で入力画像にノイズが含まれている場合であっても、対象物までの距離を適切に算出できる。
<J. Advantage>
The image measurement system according to the present embodiment strictly determines the correspondence relationship between the model code and the corresponding area, and then performs the correspondence under relaxed conditions that allow a predetermined number of codes to be mismatched. Since the corresponding area is searched for the model code for which the relationship could not be determined, the distance to the object can be calculated appropriately even if the input image contains noise for some reason.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be considered that the embodiments disclosed this time are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the above description, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.
1 計測システム、2 入力画像、4 ワーク、5 突起部、10 計測ヘッド、11 処理部、12 投光部、13 撮像部、14,110 表示部、15 記憶部、16 通信インターフェイス(I/F)部、32 エピポーラライン、100 画像計測装置、102 プロセッサ、104 メインメモリ、106 ストレージ、108 入力部、112 光学ドライブ、114 下位インターフェイス部、115 記録媒体、116 上位インターフェイス部、118 プロセッサバス、150 パターン検出部、152 1次探索部、154 欠損部分抽出部、156 パターン生成部、160 2次探索部、162 三次元情報復元部、200 計測コード列、201,202,203,204,205,206,207 モデルワード、211,212,213,214,221,222,223,224 格子状コードパターン、1060 OS、1062 三次元計測プログラム、K 行列、P 投影パターン、R プリミティブ位置、W1,W2,W3 ワード。
Claims (8)
前記照射された投影パターンに含まれる各基準パターンを前記入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得する検出部と、
前記投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索する第1の探索部と、
前記投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを前記コードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定する第2の探索部と、
前記第1の探索部および前記第2の探索部により探索された、前記モデルコード列と対応領域との対応関係に基づいて、前記投影パターンの照射基準面から前記対象物の各部までの距離を算出する距離算出部とを備える、計測システム。 an acquisition unit that acquires an input image that is an image of an object captured while a predetermined projection pattern is projected onto the object; A reference pattern arranged according to a predetermined rule,
a detection unit that searches the input image for each reference pattern included in the irradiated projection pattern to obtain a set of codes indicated by the irradiated position of each reference pattern and the irradiated reference pattern;
a first search unit that searches a set of codes for a corresponding region showing the same arrangement as a model code string consisting of a predetermined number of codes included in a unit region set in the projection pattern;
Among the model code strings included in the projection pattern, for a model code string for which a search for a corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and in the search, a second search unit that confirms recognition of the model code string when the number of codes for which the search fails is equal to or less than a predetermined number;
Based on the correspondence relationship between the model code string and the corresponding region searched by the first search unit and the second search unit, the distance from the irradiation reference plane of the projection pattern to each part of the object is calculated. A measurement system, comprising: a distance calculation unit for calculating.
前記照射された投影パターンに含まれる各基準パターンを前記入力画像内で探索することで、各基準パターンが照射された位置および当該照射された基準パターンが示すコードの集合を取得するステップと、
前記投影パターンに設定される単位領域に含まれる所定数のコードからなるモデルコード列と同一の配列を示す対応領域を当該コードの集合から探索するステップと、
前記投影パターンに含まれるモデルコード列のうち対応領域の探索に失敗したモデルコード列について、当該モデルコード列に含まれる各コードと一致するコードを前記コードの集合から探索した上で、当該探索において探索に失敗したコードの数が予め定められた数以下である場合に、当該モデルコード列の認識を確定するステップと、
探索された前記モデルコード列と対応領域との対応関係に基づいて、前記投影パターンの照射基準面から前記対象物の各部までの距離を算出するステップとを備える、計測方法。 acquiring an input image that is an image of the target object while a predetermined projection pattern is projected onto the target object, wherein the projection patterns are obtained from a plurality of types of references each assigned a unique code; A pattern is arranged according to a predetermined rule,
searching the input image for each reference pattern included in the illuminated projection pattern to acquire a set of positions where each reference pattern is illuminated and codes indicated by the illuminated reference pattern;
a step of searching a set of codes for a corresponding region showing the same arrangement as a model code string consisting of a predetermined number of codes included in a unit region set in the projection pattern;
Among the model code strings included in the projection pattern, for a model code string for which a search for a corresponding region has failed, a code matching each code included in the model code string is searched from the set of codes, and in the search, determining recognition of the model code string if the number of codes for which the search fails is equal to or less than a predetermined number;
and calculating a distance from the irradiation reference plane of the projection pattern to each part of the object based on the correspondence relationship between the searched model code string and the corresponding area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/529,791 US10867225B2 (en) | 2018-08-02 | 2019-08-02 | Measurement system and measurement method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018145790 | 2018-08-02 | ||
JP2018145790 | 2018-08-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020024200A JP2020024200A (en) | 2020-02-13 |
JP7243513B2 true JP7243513B2 (en) | 2023-03-22 |
Family
ID=69618568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019141535A Active JP7243513B2 (en) | 2018-08-02 | 2019-07-31 | Measuring system and measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7243513B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012079294A (en) | 2010-09-08 | 2012-04-19 | Canon Inc | Image information processing apparatus and control method thereof |
US20140164352A1 (en) | 2012-11-20 | 2014-06-12 | Karl L. Denninghoff | Search and navigation to specific document content |
US20140164885A1 (en) | 2012-12-10 | 2014-06-12 | Casio Computer Co., Ltd. | Time information obtaining device and radio-controlled timepiece |
JP2015155886A (en) | 2014-01-20 | 2015-08-27 | キヤノン株式会社 | Three-dimensional measurement apparatus, three-dimensional measurement method, and program |
JP2016217833A (en) | 2015-05-19 | 2016-12-22 | 株式会社リコー | Image processing system and image processing method |
JP2018063220A (en) | 2016-10-14 | 2018-04-19 | オムロン株式会社 | Three-dimensional measuring device and three-dimensional measuring method |
-
2019
- 2019-07-31 JP JP2019141535A patent/JP7243513B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012079294A (en) | 2010-09-08 | 2012-04-19 | Canon Inc | Image information processing apparatus and control method thereof |
US20140164352A1 (en) | 2012-11-20 | 2014-06-12 | Karl L. Denninghoff | Search and navigation to specific document content |
US20140164885A1 (en) | 2012-12-10 | 2014-06-12 | Casio Computer Co., Ltd. | Time information obtaining device and radio-controlled timepiece |
JP2015155886A (en) | 2014-01-20 | 2015-08-27 | キヤノン株式会社 | Three-dimensional measurement apparatus, three-dimensional measurement method, and program |
JP2016217833A (en) | 2015-05-19 | 2016-12-22 | 株式会社リコー | Image processing system and image processing method |
JP2018063220A (en) | 2016-10-14 | 2018-04-19 | オムロン株式会社 | Three-dimensional measuring device and three-dimensional measuring method |
Also Published As
Publication number | Publication date |
---|---|
JP2020024200A (en) | 2020-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101733228B1 (en) | Apparatus for three dimensional scanning with structured light | |
JP5713159B2 (en) | Three-dimensional position / orientation measurement apparatus, method and program using stereo images | |
US8805057B2 (en) | Method and system for generating structured light with spatio-temporal patterns for 3D scene reconstruction | |
JP5854715B2 (en) | Image information processing apparatus and control method thereof | |
JP6097903B2 (en) | Three-dimensional shape acquisition apparatus, processing method, and program | |
KR20110102244A (en) | Information processing apparatus, processing method therefor, and computer-readable storage medium | |
KR20160031967A (en) | Muti-projection system and method for projector calibration thereof | |
US20140003740A1 (en) | Block patterns as two-dimensional ruler | |
KR102158390B1 (en) | Method and apparatus for image processing | |
JP6006179B2 (en) | Data analysis apparatus, data analysis method, and program | |
US10818030B2 (en) | Three-dimensional measurement apparatus and three-dimensional measurement method | |
JP2009048516A (en) | Information processor, information processing method and computer program | |
Wijenayake et al. | Dual pseudorandom array technique for error correction and hole filling of color structured-light three-dimensional scanning | |
US10867225B2 (en) | Measurement system and measurement method | |
JP7243513B2 (en) | Measuring system and measuring method | |
NL2016286B1 (en) | Displacement sensor. | |
JP2015004588A (en) | Data analyzer, data analysis method, and program | |
JP7115057B2 (en) | Measuring system and measuring method | |
JP6583674B2 (en) | Three-dimensional measuring apparatus, pattern generating apparatus, and method | |
JP5157575B2 (en) | Defect detection method | |
JP2006202152A (en) | Image processor, image processing method and program used therefor | |
KR101087863B1 (en) | Method of deciding image boundaries using structured light, record medium for performing the same and apparatus for image boundary recognition system using structured light | |
WO2023008509A1 (en) | Information processing program and information processing device | |
Jonscher et al. | Reconstruction of images taken by a pair of non-regular sampling sensors using correlation based matching | |
CN112446895B (en) | Automatic extraction method, system, equipment and medium for checkerboard corner points |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7243513 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |