JP6880512B2 - ３次元測定装置、３次元測定方法及び３次元測定プログラム - Google Patents

Description

本開示は、３次元測定装置、３次元測定方法及び３次元測定プログラムに関する。

近年、対象物に符号化されたパターンやランダムドットパターンを投光し、当該パターンが投光された対象物を撮像した画像を解析することにより、対象物の３次元形状を測定するシステムが用いられている。

下記特許文献１には、オブジェクトにパターンが投光された画像を取得し、画像から基準成分を選択して、基準成分以外のパターン成分の相対座標を求め、幾何学モデルに基づく相対座標の線形変換によりオブジェクトの位置の相対的な深さを決定する、オブジェクトの３次元形状を決定する方法が記載されている。

下記特許文献２には、符号化されたパターンが投光されたオブジェクトの第１画像及び第２画像を撮像し、第２画像におけるエピポーラ線に沿って第１画像の画素領域を探索することで、オブジェクトの２次元画像から距離データを取得する方法が記載されている。

米国特許第６５１０２４４号明細書 米国特許第８２０８７１９号明細書

特許文献１及び２では、人物等の比較的大きな対象物の３次元形状を測定する技術が記載されているが、比較的小さな対象物の３次元形状を測定する場合には、対象物の３次元形状をより高解像度で測定する必要がある。そこで、パターンをより高密度として対象物に投光することが考えられる。しかしながら、バラ積みされた部品等の比較的小さな対象物の３次元形状を測定する場合、パターンが対象物の斜面に投光されて歪んだり、環境光等や対象物のテクスチャの影響によりパターンのコントラストが低下したり、対象物の表面の凹凸によりパターンが変形したりすることがあり、パターンを単に細かくするだけでは３次元形状の測定が困難な場合があることを発明者は見出した。すなわち、パターンを単に細かくするだけでは、撮像条件の変動に対するロバスト性が損なわれてしまう。

そこで、本発明は、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することのできる３次元測定装置、３次元測定方法及び３次元測定プログラムを提供する。

本開示の一態様に係る３次元測定装置は、対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部と、パターンが投光された対象物の画像を撮像する撮像部と、パターンの特徴点を抽出して、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出する算出部と、を備え、パターンは、少なくとも２ビットを表し、特徴点を含み、３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、単位パターンは、第１領域と、第１領域と区別され、第１領域よりも面積の大きい第２領域とを含み、第１領域の面積を第２領域の面積で割った面積比は、０．３以上０．９以下である。ここで、対象物は、任意の物体であってよいが、例えばバラ積みされた部品であってよい。また、パターンの２次元構造は、任意の構造であってよいが、単位パターンが格子状に敷き詰められた構造であってよい。パターンの特徴点は、例えば単位パターンの中心点であってよい。また、単位パターンは、例えば正方形の内部に第１領域と第２領域によって任意の模様が表されたものであってよい。なお、単位パターンの外形は長方形であったり、平行四辺形であったりしてもよい。また、第１領域及び第２領域は、撮像部により撮像された画像の各画素の画素値に応じて区別されてよい。例えば、画素の輝度値によって第１領域及び第２領域を区別してよく、輝度値が閾値以上であるか否かによって、第１領域及び第２領域を区別してよい。

この態様によれば、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であることで、撮像条件が変動した場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

上記態様において、単位パターンは、画像上で、短辺が３画素以上１０画素以下の四辺形である。ここで、単位パターンの短辺は、単位パターンの四辺のうち最も短い辺であってよい。

この態様によれば、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上の四辺形であることで、撮像条件が変動した場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。また、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が１０画素以下の四辺形であることで、データが符号化された２次元構造を高密度で配列することができ、抽出される特徴点の密度を増大させることができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

上記態様において、画像上で、第１領域の面積を第２領域の面積で割った面積比は、０．３以上０．９以下であってよい。

この態様によれば、投光部により投光される単位パターンの第１領域の面積を第２領域の面積で割った面積比のみならず、撮像部により撮像される単位パターンにおいて第１領域の面積を第２領域の面積で割った面積比が、０．３以上０．９以下であることで、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

上記態様において、画像上における単位パターンの短辺の画素数に応じて、投光部により投光するパターンの面積比の範囲を設定する設定部をさらに備えてもよい。

この態様によれば、画像上における単位パターンの短辺の画素数に応じて、単位パターンに含まれる第１領域と第２領域の面積比の範囲を設定することで、画像上における単位パターンの密度に応じて第１領域と第２領域の面積比の範囲を設定することができ、対象物の３次元形状を測定する解像度と、撮像条件の変動に対するロバスト性のバランスを調整することができる。

上記態様において、設定部は、画像上における単位パターンの短辺の画素数が少なくなるに従って、面積比の範囲を狭めるように設定してもよい。

この態様によれば、画像上における単位パターンの密度が高くなるに従って、第１領域と第２領域の面積比の範囲を狭めるように設定することができ、対象物の３次元形状を測定する解像度が高くなるに従って、第１領域と第２領域の面積比の範囲を撮像条件の変動に対するロバスト性が確保できるような範囲に絞っていくことができる。そのため、対象物の３次元形状を測定する解像度と、撮像条件の変動に対するロバスト性のバランスを調整することができる。

上記態様において、第１領域及び第２領域は、投光部により投光される光の明暗で区別されてもよい。

この態様によれば、光の明暗で第１領域及び第２領域を区別することで、モノクロの画像を撮像する撮像部であってもパターンを識別することができ、撮像部の構成を簡素化して３次元測定装置のコストを低減することができる。

上記態様において、第１領域及び第２領域は、投光部により投光される光の波長帯で区別されてもよい。

この態様によれば、光の波長帯で第１領域及び第２領域を区別することで、環境光等の白色光が対象物に照射された場合であっても、第１領域及び第２領域の差が変化しづらく、第１領域及び第２領域を識別することが容易となる。

上記態様において、第１領域及び第２領域は、投光部により投光される光の偏光で区別されてもよい。

この態様によれば、光の偏光で第１領域及び第２領域を区別することで、環境光等の光が対象物に照射された場合であっても、第１領域及び第２領域の差が変化しづらく、第１領域及び第２領域を識別することが容易となる。

上記態様において、単位パターンは、第１領域が分離せず連続した２次元形状を含んでもよい。

この態様によれば、単位パターンの２次元構造を単純化して、第１領域及び第２領域の識別を容易とすることができる。

上記態様において、単位パターンは、第１領域が、第２領域を挟んで分離した２次元形状を含んでもよい。

この態様によれば、単位パターンによって様々な２次元構造を構成することができ、単位パターンに符号化されたデータの密度を向上させることができる。これにより、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

上記態様において、パターンは、第１領域が分離せず連続した２次元形状を含む単位パターンと、第１領域が、第２領域を挟んで分離した２次元形状を含む単位パターンと、を含んでもよい。

この態様によれば、単位パターンの２次元構造のバリエーションを増加させて、単位パターンによって表すことのできるビット数を増やし、パターンによって符号化されたデータの密度を向上させることができる。そのため、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

上記態様において、第１領域は、単位パターンにおいて、第２領域を挟んで２つに分離していてもよい。

この態様によれば、単位パターンの２次元構造を比較的単純にして、第１領域及び第２領域の識別を容易としつつ、単位パターンによって表すことのできるデータ量を増やし、パターンによって符号化されたデータの密度を向上させることができる。そのため、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

上記態様において、第１領域は、単位パターンにおいて、第２領域を挟んで３つ以上に分離していてもよい。

この態様によれば、単位パターンの２次元構造を比較的複雑にして、単位パターンによって表すことのできるビット数が増え、単位パターンの位置の特定が容易になる。そのため、撮像条件の変動に対するロバスト性を確保しながら、ウィンドウマッチングの処理時間を短くして、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

上記態様において、投光部は、投光するパターンの大きさを変調させる変調素子を含んでよい。

この態様によれば、パターンが投光される対象物の凹凸や傾きに応じてパターンの大きさを変調し、撮像条件の変動に対するロバスト性を確保することができる。また、パターンを大きくするように変調して、画像上における短辺の画素数を大きくすることで、３次元点群の数を少なくして、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

本開示の他の態様に係る３次元測定方法は、対象物に、２次元構造によってデータが符号化されたパターンを投光することと、パターンが投光された対象物の画像を撮像することと、パターンの特徴点を抽出して、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出することと、を含み、パターンは、少なくとも２ビットを表し、特徴点を含み、３次元点群の位置を算出するために用いられる単位パターンを複数含み、単位パターンは、画像上で、短辺が３画素以上１０画素以下の四辺形である。

この態様によれば、単位パターンが画像上において短辺が３画素以上の四辺形であることで、撮像条件が変動した場合であっても、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。また、単位パターンが画像上において短辺が１０画素以下の四辺形であることで、データが符号化された２次元構造を高密度で配列することができ、抽出される特徴点の密度を増大させることができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

本開示の他の態様に係る３次元測定プログラムは、対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部と、パターンが投光された対象物の画像を撮像する撮像部と、を備える３次元測定装置に備えられた演算部を、パターンの特徴点を抽出して、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出する算出部として動作させ、パターンは、少なくとも２ビットを表し、特徴点を含み、３次元点群の位置を算出するために用いられる単位パターンを複数含み、単位パターンは、画像上で、短辺が３画素以上１０画素以下の四辺形である。

この態様によれば、単位パターンが画像上において短辺が３画素以上の四辺形であることで、撮像条件が変動した場合であっても、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。また、単位パターンが画像上において短辺が１０画素以下の四辺形であることで、データが符号化された２次元構造を高密度で配列することができ、抽出される特徴点の密度を増大させることができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

本発明によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することのできる３次元測定装置、３次元測定方法及び３次元測定プログラムを提供することができる。

本開示の実施形態に係る３次元測定装置の機能ブロック図である。 本実施形態に係る３次元測定装置の制御部及び認識部の物理的構成を示す図である。 本実施形態に係る３次元測定装置の投光部により投光されるパターンの一例を示す図である。 本実施形態に係る３次元測定装置の投光部により投光される単位パターンの例を示す図である。 本実施形態に係る３次元測定装置の投光部により投光される、第１領域及び第２領域の面積比が異なるパターンの例を示す図である。 撮像条件の変動により乱れたパターンの例を示す図である。 第１態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 第２態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 第３態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 本実施形態に係る３次元測定装置の投光部により投光される、符号化パターンが異なる図形の組み合わせで構成される単位パターンの例を示す図である。 本実施形態に係る３次元測定装置の投光部により投光され、符号化パターンが異なる図形の組み合わせで構成され、第１領域及び第２領域の面積比が異なるパターンの他の例を示す図である。 第１態様で乱された他の例のパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 第２態様で乱された他の例のパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 第３態様で乱された他の例のパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。 本実施形態に係る３次元測定装置の投光部により投光され、符号化パターンが異なる図形の組み合わせで構成され、第１領域及び第２領域の面積比が異なるパターンの例を列挙した図である。 本実施形態に係る３次元測定装置により実行される対象物の３次元形状の測定処理のフローチャートである。 本実施形態の第１変形例に係る３次元測定装置の投光部により投光される単位パターンの例を示す図である。 本実施形態の第２変形例に係る３次元測定装置の投光部により投光される単位パターンの例を示す図である。 本実施形態の第３変形例に係る３次元測定装置の投光部により投光されるパターンの例を示す図である。 本実施形態の第４変形例に係る３次元測定装置の投光部により投光されるパターンの例を示す図である。 本実施形態の第５変形例に係る３次元測定装置の投光部により投光される単位パターンの例を示す図である。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本開示の実施形態に係る３次元測定装置１０の機能ブロック図である。本実施形態に係る３次元測定装置１０は、対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部２０と、パターンが投光された対象物の画像を撮像する撮像部３０と、投光部２０及び撮像部３０を制御し、撮像された画像に基づいて対象物の３次元形状を表す３次元点群を出力する制御部４０と、３次元点群に基づいて、対象物の３次元形状を認識する認識部５０とを備える。なお、３次元測定装置１０は、必ずしも認識部５０を備えなくてもよく、認識部５０は、３次元測定装置１０と通信可能な別体の装置で構成されてもよい。また、対象物は、例えばバラ積みされた部品であってよいし、平置きされた部品等の任意の物であってよい。

投光部２０は、少なくとも２ビットを表し、特徴点を含み、３次元点群の位置を算出するために用いられる単位パターンを複数含むパターンを対象物に投光してよい。投光部２０は、例えば、四辺形の単位パターンが格子状に敷き詰められたパターンを対象物に投光してよい。もっとも、パターンは任意の形状の単位パターンを含んでよく、例えば、円形、曲面、ランダムドット、グリッド状及び波状のうち少なくともいずれかの形状の単位パターンを含んでもよい。また、単位パターンは、単位パターンの並び順によって格子の列を特定可能に配列されていてよい。四辺形の単位パターンは、また、例えば正方形の内部に任意の模様が表されたものであってよいが、単位パターンの外形は長方形であったり、平行四辺形であったりしてもよい。

撮像部３０は、投光部２０に対して所定の距離及び角度で配置され、パターンが投光された対象物の画像を撮像する。画像には、対象物の位置や方位等の状態に応じて変形したパターンが撮像される。撮像部３０は、一台であってよく、対象物の３次元形状を測定するために一枚の画像を撮像すればよい。もっとも、３次元測定装置１０は、複数の撮像部を備えるものであってもよい。また、撮像部３０は、対象物の画像を１枚撮像するものであってもよいし、複数枚撮像するものであってもよい。

制御部４０は、パターンの特徴点を抽出して、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出する。本実施形態では、制御部４０は、単位パターンの中心を特徴点として抽出し、単位パターンに含まれる第１領域及び第２領域の２次元形状に基づいて、単位パターンが表すデータを復号する。ここで、単位パターンの第１領域及び第２領域は、互いに区別可能な領域であり、例えば、投光される光の明暗によって区別される領域であってよい。また、画像上の第１領域及び第２領域は、撮像部３０により撮像された画像の各画素の画素値に応じて区別されてよい。例えば、画素の輝度値によって第１領域及び第２領域を区別してよく、輝度値が閾値以上であるか否かによって、第１領域及び第２領域を区別してよい。本実施形態では、第２領域は、第１領域よりも面積の大きい領域であると定義する。なお、第１領域及び第２領域の定義は逆であってもよく、第１領域が、第２領域よりも面積の大きい領域であると定義してもよい。なお、制御部４０は、撮像部３０の被写界深度内に投影されたパターンについて特徴点を抽出すればよく、被写界深度外に投影されてボケて撮像されたパターンについては特徴点を抽出しなくてもよい。すなわち、ボケの影響によって第１領域と第２領域の区別が曖昧となる場合には、その単位パターンを３次元点群の位置の算出に用いなくてよい。

制御部４０は、例えば、画像上の注目する画素が属する列について、隣接する単位パターンが表すデータを復号し、データの並び順に基づいて、注目する画素が属する列が、投光部２０により投光されたパターンのいずれの列に対応するか特定する。投光部２０により投光されたパターンの列が特定されると、特定された列と投光部２０の光源とを通り、対象物を貫く平面が特定される。また、画像上の注目する画素と、対象物に投光されたパターンのうち注目する画素に対応する単位パターンとを通る直線が特定される。ここで、投光部２０と撮像部３０との間の距離及び角度が既知であれば、投光部２０を通る平面と撮像部３０を通る直線との交点から３次元測定装置１０までの距離、すなわち対象物までの距離を三角測量の方法で算出することができる。このようにして、制御部４０は、１つの単位パターンから対象物の３次元形状を表す３次元点群の１つの点の位置を算出することができる。また、制御部４０は、パターンに含まれる複数の単位パターンをウィンドウマッチングにより特定して、特定された複数の単位パターンそれぞれについて３次元点群の位置を算出してよい。なお、制御部４０は、エピポーラ制約を用いて、投光部２０により投光されたパターンの列のみならず、行も特定することとしてもよい。

対象物の３次元形状をより高解像度で測定するために、データが符号化された単位パターンをより高密度に配列してパターンを対象物に投光することが考えられる。単位パターンの大きさについては、撮像部３０の解像度、すなわち撮像部３０が有する受光素子の密度に起因する制約が存在する。仮に、データが符号化された単位パターンをより高密度に配列し、画像上における単位パターンの短辺が３画素未満となってしまうと、画像に基づいて単位パターンの特徴点を抽出したり、単位パターンの第１領域と第２領域を識別したりすることが困難となり、３次元形状の測定が困難となる。そこで、単位パターンの大きさは、画像上で、短辺が３画素以上であることが望まれる。単位パターンの短辺が画像上で３画素以上であれば、例えば画素の明暗によって第１領域と第２領域を識別することができ、単位パターンの特徴点及び単位パターンが表すデータを復号することができる。なお、短辺とは、単位パターンの四辺のうち最も短い辺であってよい。

また、単位パターンの画像上における大きさを、短辺が１０画素以下とすることで、データが符号化された単位パターンを高密度に配列して、対象物の３次元形状をより高解像度で測定することができる。なお、単位パターンの画像上における大きさは、短辺が９画素以下であったり、８画素以下であったりしてもよい。

まとめると、本実施形態に係る３次元測定装置１０の撮像部３０により撮像される画像は、画像上で、短辺が３画素以上１０画素以下の四辺形である単位パターンを複数含むパターンが対象物に投光された画像であってよい。

発明者は、単位パターンを配列する密度を上げて、パターンを単に細かくするだけでは、環境光等の影響によりパターンのコントラストが低下した場合や、斜面に投光されてパターンが歪んだ場合等に、対象物の３次元形状の測定が困難となることを見出した。すなわち、パターンを単に細かくするだけでは、撮像条件の変動に対するロバスト性が損なわれてしまう。これに対して、発明者は、単位パターンに含まれる第１領域及び第２領域の形状を様々に変更して、撮像条件の変動に対するロバスト性を検証した。そして、第１領域の面積を第２領域の面積で割った面積比が、０．３以上０．９以下であれば、撮像条件が変動した場合であっても、単位パターンから特徴点を抽出したり、単位パターンが表すデータを復号したりすることができるようになることを見出した。ここで、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比は、投光部２０により投光されるパターンにおいて０．３以上０．９以下であってよく、撮像部３０により撮像される画像上でも、０．３以上０．９以下であってよい。なお、投光部２０により投光されるパターンにおいて第１領域又は第２領域にノイズ加えられて第１領域の面積を第２領域の面積で割った面積比が０．３以上０．９以下の範囲から僅かに外れたとしても、撮像部３０により撮像される画像上で、第１領域の面積を第２領域の面積で割った面積比が０．３以上０．９以下であれば、撮像条件が変動した場合であっても、単位パターンから特徴点を抽出したり、単位パターンが表すデータを復号したりすることができる。ここで、ノイズとは、投光されたパターンの第１領域中に含まれる第２領域であって、撮像された画像上で１画素と認識されない程度に微小な第２領域であってよい。また、その逆であってもよく、すなわち、ノイズとは、投光されたパターンの第２領域中に含まれる第１領域であって、撮像された画像上で１画素と認識されない程度に微小な第１領域であってもよい。

本実施形態に係る３次元測定装置１０によれば、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上の四辺形であることで、撮像条件が変動した場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。また、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が１０画素以下の四辺形であることで、データが符号化された２次元構造を高密度で配列することができ、抽出される特徴点の密度及び符号化されるデータ量を増大させることができる。そのため、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

§２ 構成例
［機能構成］
＜投光部＞
投光部２０は、対象物に、２次元構造によってデータが符号化されたパターンを投光するものであり、投光するパターンは任意のものを用いることができる。パターンの具体例については、図３等を用いて後に詳細に説明する。

投光部２０により投光されるパターンは、四辺形の複数の単位パターンが敷き詰められたものであってよく、単位パターンは、第１領域及び第２領域を含んでよい。ここで、第１領域及び第２領域は、投光部２０により投光される光の明暗で区別されてよい。例えば、第１領域を光が照射されている明るい領域と定義して、第２領域を光が照射されず暗い領域と定義してよいし、その逆であってもよい。光の明暗で第１領域及び第２領域を区別することで、モノクロの画像を撮像する撮像部３０であってもパターンを識別することができ、撮像部３０の構成を簡素化して３次元測定装置１０のコストを低減することができる。

また、単位パターンの第１領域及び第２領域は、投光部２０により投光される光の波長帯で区別されてもよい。例えば、第１領域を波長帯が４５０ｎｍ程度の青い光が照射されている領域と定義して、第２領域を波長帯が６５０ｎｍ程度の赤い光が照射さている領域と定義してよく、その逆であってもよい。他の例として、第１領域を波長帯が４５０ｎｍ程度の青い光が照射されている領域と定義して、第２領域を波長帯が５８０ｎｍ程度の黄色い光が照射されている領域と定義してよく、その逆であってもよい。さらに他の例として、第１領域を波長帯が４５０ｎｍ程度の青い光が照射されている領域と定義して、第２領域を波長帯が１μｍ程度の赤外線が照射されている領域と定義してよく、その逆であってもよい。このように、照射する光の波長帯で第１領域及び第２領域を区別することで、環境光等の白色光が対象物に照射された場合であっても、第１領域及び第２領域の差が変化しづらく、第１領域及び第２領域を識別することが容易となる。なお、対象物の吸光度に応じて、単位パターンの第１領域及び第２領域の差異が顕著となるような波長帯の組み合わせを選択して、第１領域及び第２領域を識別することとしてもよい。また、撮像部３０の撮像素子の分光感度に応じて、単位パターンの第１領域及び第２領域の差異が顕著となるような波長帯の組み合わせを選択して、第１領域及び第２領域を識別することとしてもよい。

また、単位パターンの第１領域及び第２領域は、投光部２０により投光される光の偏光で区別されてもよい。例えば、第１領域を第１方向に直線偏光している光が照射されている領域と定義して、第２領域を、第１方向と直交する第２方向に直線偏光している光が照射されている領域と定義してよく、その逆であってもよい。また、他の例として、第１領域を光の進行方向に対して時計回りに円偏光している光が照射されている領域と定義して、第２領域を光の進行方向に対して反時計回りに円偏光している光が照射されている領域と定義してよく、その逆であってもよい。なお、対象物の偏光における吸光度に応じて、単位パターンの第１領域及び第２領域の差異が顕著となるような偏光の組み合わせを選択して、第１領域及び第２領域を識別することとしてもよい。このように、光の偏光で第１領域及び第２領域を区別することで、例えば、黒体や透明体といった対象物に対して、環境光等の光が対象物に照射された場合であっても、第１領域及び第２領域の差が変化しづらく、第１領域及び第２領域を識別することが容易となる。

投光部２０は、任意の固定パターンを投光するプロジェクタであってもよいし、ＭＥＭＳ（Micro Electro-Mechanical Systems）等によって単位時間あたりに１つの固定パターンを投光するプロジェクタであってもよい。投光部２０は、投光するパターンの大きさを変調させる変調素子を含んでもよく、例えば、対象物の凹凸や傾きに応じて投光するパターンの大きさを変調させてよい。パターンの大きさを対象物の状態に応じて変調することで、撮像条件の変動に対するロバスト性を確保することができる。また、パターンを大きくするように変調して、画像上における短辺の画素数を大きくすることで、３次元点群の数を少なくして、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

＜撮像部＞
撮像部３０は、パターンが投光された対象物の画像を撮像するものであり、撮像した画像を制御部４０に出力したり、他の機器に出力したりするものであってよい。撮像部３０は、投光部２０と所定の距離及び角度で配置されてよく、例えば、投光部２０による投光方向と、撮像部３０の撮像方向が略同一であり、同一平面上に所定の距離で配置されてよい。

＜制御部＞
制御部４０は、画像入力部４１、画像記録部４２、算出部４３、３次元点群出力部４４及び設定部４５を含む。画像入力部４１は、撮像部３０により撮像された画像を撮像部３０から取得し、画像記録部４２に入力する。画像記録部４２は、撮像部３０により撮像された画像をメモリに記録する。

算出部４３は、撮像されたパターンの特徴点を抽出する。算出部４３は、パターンに含まれる単位パターン毎に特徴点を抽出してよく、例えば、単位パターンの中心を特徴点として抽出してよい。また、算出部４３は、単位パターンに含まれる第１領域及び第２領域の２次元形状に基づいて、単位パターンが表すデータを復号する。そして、算出部４３は、画像における特徴点の位置及び復号されたデータに基づいて、対象物の３次元形状を表す３次元点群の位置を算出する。より具体的には、注目する単位パターン及び注目する単位パターンに隣接する単位パターンについて、単位パターンが表すデータを復号し、データの並び順から注目する単位パターンが属する列を特定する。そして、注目する単位パターンから抽出された特徴点の画像上における位置と、特定された列とに基づいて、三角測量により対象物までの距離を算出する。なお、算出部４３は、エピポーラ制約を用いて、注目する単位パターンが属する列のみならず、注目する単位パターンが属する行も特定することとしてもよい。このようにして、複数の単位パターンに対し対象物の３次元形状を表す複数の点の位置を算出し、対象物の３次元形状を表すことができる。

３次元点群出力部４４は、算出された３次元点群のデータを認識部５０に出力する。３次元点群出力部４４は、３次元点群のデータを表示部に出力したり、３次元測定装置１０以外の装置に出力したりしてもよい。

設定部４５は、投光部２０により投光するパターンを設定したり、撮像部３０の絞りや露光時間等を設定したりしてよい。設定部４５は、画像上における単位パターンの短辺の画素数に応じて、投光部２０により投光するパターンに含まれる単位パターンの第１領域と第２領域の面積比の範囲を設定してよい。すなわち、設定部４５は、画像上における単位パターンの短辺の画素数に応じて、第１領域と第２領域の面積比を、０．３以上０．９以下の範囲としたり、０．３以上０．９以下の範囲より狭めたりしてよい。このように、画像上における単位パターンの短辺の画素数に応じて、単位パターンに含まれる第１領域と第２領域の面積比の範囲を設定することで、画像上における単位パターンの密度に応じて第１領域と第２領域の面積比の範囲を設定することができ、対象物の３次元形状を測定する解像度と、撮像条件の変動に対するロバスト性のバランスを調整することができる。

また、設定部４５は、画像上における単位パターンの短辺の画素数が少なくなるに従って、第１領域と第２領域の面積比の範囲を狭めるように設定してよい。例えば、画像上における単位パターンの短辺の画素数が１０画素の場合、第１領域と第２領域の面積比を、０．３以上０．９以下の範囲として、画像上における単位パターンの短辺の画素数が１０画素より少なくなるに従って、第１領域と第２領域の面積比を、０．３以上０．９以下の範囲より狭くなるように設定してよい。これにより、画像上における単位パターンの密度が高くなるに従って、第１領域と第２領域の面積比の範囲を狭めるように設定することができ、対象物の３次元形状を測定する解像度が高くなるに従って、第１領域と第２領域の面積比の範囲を撮像条件の変動に対するロバスト性が確保できるような範囲に絞っていくことができる。そのため、対象物の３次元形状を測定する解像度と、撮像条件の変動に対するロバスト性のバランスを調整することができる。

＜認識部＞
認識部５０は、ＣＡＤモデル記憶部５１、ＣＡＤマッチング計算部５２及びＣＡＤマッチング出力部５３を含む。ＣＡＤモデル記憶部５１は、対象物の３次元ＣＡＤモデルを記憶してよい。ＣＡＤマッチング計算部５２は、３次元点群出力部４４より取得した３次元点群と、ＣＡＤモデル記憶部５１に記憶された対象物の３次元ＣＡＤモデルとのマッチングを行ってよい。３次元点群と３次元ＣＡＤモデルとのマッチングは、任意のアルゴリズムにより行われてよい。ＣＡＤマッチング出力部５３は、ＣＡＤマッチング計算部５２により計算されたマッチングの結果を、表示部や他の機器に出力してよい。

［ハードウェア構成］
＜投光部＞
次に、本実施形態に係る３次元測定装置１０のハードウェア構成の一例を説明する。投光部２０は、光源と、パターンを有する光を生成するためのフォトマスクとを含むものであってよく、例えば、レーザ光源と、回折光学素子とを含むものであってよい。また、投光部２０は、固定パターンを形成する光学素子と、光変調素子としてＤＬＰ（Digital Light Processing）、ＬＣＤ（Liquid Crystal Display）、ＬＣＯＳ（Liquid Crystal On Silicon）又はＭＥＭＳ（Micro Electro-Mechanical Systems）等を有するプロジェクタであってよく、投光するパターンの大きさを変調させる変調素子を含んでよい。投光部２０は、レーザ光源からの光を回折光学素子に入射させ、回折光学素子の表面に形成された回折パターンによって２次元構造を有する光を生成するものであってよい。なお、投光部２０は、レンズ等の任意の光学部材を含んでよいし、光源から出射される光の波長帯は可視領域に限られず、赤外領域や紫外領域の波長帯であってもよい。

＜撮像部＞
撮像部３０は、少なくとも投光部２０により投光された光を検出する受光素子を含むカメラであってよい。撮像部３０は、波長を分離するフィルタや偏光を分離するフィルタやその他レンズ等の任意の光学部材を含んでよい。

＜制御部及び認識部＞
図２は、本実施形態に係る３次元測定装置１０の制御部４０及び認識部５０の物理的構成を示す図である。３次元測定装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では３次元測定装置１０が一台のコンピュータで構成される場合について説明するが、３次元測定装置１０は、複数のコンピュータを用いて実現されてもよい。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、パターンが投光された対象物の画像に基づいて、対象物の３次元形状を表す３次元点群の位置を算出し、３次元点群と３次元ＣＡＤモデルとのマッチングを行うプログラム（３次元測定プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。なお、図２では記載しないが、ＧＰＵ（Graphical Processing Unit）、ＴＰＵ（Tensor Processing Unit）等のＡＳＩＣ（Application Specific Integrated Circuit）等の並列演算処理を行うユニットによって、３次元形状の測定に関する機械学習の演算を行ってもよい。

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する３次元測定プログラムや、撮像部３０から取得した対象物の画像、算出した３次元点群に関するデータ、対象物の３次元ＣＡＤモデルといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば３次元測定プログラムや、書き換えが行われないデータを記憶してよい。

通信部１０ｄは、３次元測定装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、投光部２０及び撮像部３０と、例えばＬＡＮ（Local Area Network）により接続されて、投光部２０に対しパターンの設定に関する情報を送信し、撮像部３０に対し絞り、露光時間又はシャッタースピード等の設定に関する情報を送信してよい。また、通信部１０ｄは、撮像部３０から対象物の画像を受信してよい。また、通信部１０ｄは、インターネット等の通信ネットワークに接続されてもよい。さらに、ＦＰＧＡ（Field-Programmable Gate Array）によって、投光部２０の投光時間を制御したり、投光部２０の光変調素子を制御したり、撮像物３０の露光時時間やシャッタースピードを制御したりしてもよい。

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルを含んでよい。

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば撮像部３０により撮像された対象物の画像を表示したり、算出された３次元点群を表示したり、３次元点群とマッチングされた３次元ＣＡＤモデルを表示したりしてよい。

３次元測定プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。３次元測定装置１０では、ＣＰＵ１０ａが３次元測定プログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、３次元測定装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

§３ 動作例
図３は、本実施形態に係る３次元測定装置１０の投光部２０により投光されるパターンの一例を示す図である。同図では、投光部２０により投光されるパターンの一部を拡大して図示している。投光部２０により投光されるパターンは、Ｎ×Ｍ（Ｎ及びＭは任意の自然数）の格子状に配列された単位パターンＵを含み、ｎ×ｍ（ｎはＮより小さい自然数であり、ｍはＭより小さい自然数）の格子状に配列された単位パターンＵがひとまとまりとなった符号化領域Ａを含む。本例のパターンでは、２×２の格子状に配列された単位パターンＵがひとまとまりとなって１つの符号化領域Ａを構成し、１つの符号化領域Ａから１つのデータが復号される。隣接する符号化領域Ａは、単位パターンＵを重複して含んでもよい。

図４は、本実施形態に係る３次元測定装置１０の投光部２０により投光される単位パターンの例を示す図である。同図では、第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４を図示している。第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４は、第１領域Ｓ１と第２領域Ｓ２を含むパターンであり、比較的大きな正方形で構成される格子模様の中央に１つの比較的小さな正方形を配置した２次元構造を有する。

第１単位パターンＵ１は、左下と右上に白色の第１領域Ｓ１を含み、左上から右下にかけて黒色の第２領域Ｓ２を含む。第２単位パターンＵ２は、左上と右下に白色の第１領域Ｓ１を含み、左下から右上にかけて黒色の第２領域Ｓ２を含む。第３単位パターンＵ３は、左上と右下に黒色の第１領域Ｓ１を含み、左下から右上にかけて白色の第２領域Ｓ２を含む。第４単位パターンＵ４は、左下と右上に黒色の第１領域Ｓ１を含み、左上から右下にかけて白色の第２領域Ｓ２を含む。

ここで、白色で示した領域は、光が照射されている明るい領域であってよく、黒色で示した領域は、光が照射されていない暗い領域であってよい。もっとも、白色で示した領域が、光が照射されていない暗い領域であり、黒色で示した領域が、光が照射されている明るい領域であってもよい。また、白色で示した領域は、例えば青色の光が照射されている領域であってよく、黒色で示した領域は、赤色の光が照射されている領域であってもよいし、白色で示した領域は、第１方向に直線偏光した光が照射されている領域であってよく、黒色で示した領域は、第１方向と直交する第２方向に直線偏光した光が照射されている領域であってもよい。

第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４は、第１領域Ｓ１が、第２領域Ｓ２を挟んで分離した２次元形状を含んでいる。また、第１単位パターンＵ１と第２単位パターンＵ２は、互いに９０°回転した形状であり、第３単位パターンＵ３と第４単位パターンＵ４は、互いに９０°回転した形状であり、第１単位パターンＵ１と第４単位パターンＵ４は、互いに白黒反転した形状であり、第２単位パターンＵ２と第３単位パターンＵ３は、互いに白黒反転した形状である。

第１領域Ｓ１が、第２領域Ｓ２を挟んで分離していることで、単位パターンによって様々な２次元構造を構成することができ、単位パターンに符号化されたデータの密度を向上させることができる。これにより、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

また、第１領域Ｓ１は、第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４において、第２領域Ｓ２を挟んで２つに分離している。言い換えると、第１領域Ｓ１は、第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４において、第２領域Ｓ２を挟んで分離しているものの、第２領域Ｓ２を挟んで３つ以上に分離していない。第１領域Ｓ１の分離数を２つに抑えることで、単位パターンの２次元構造を比較的単純にして、第１領域Ｓ１及び第２領域Ｓ２の識別を容易とすることができる。また、単位パターンによって表すことのできるデータ量を増やし、パターンによって符号化されたデータの密度を向上させることができる。そのため、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングをすることができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

図５は、本実施形態に係る３次元測定装置１０の投光部２０により投光される、第１領域及び第２領域の面積比が異なるパターンの例を示す図である。同図では、図４に示す第１単位パターンＵ１、第２単位パターンＵ２、第３単位パターンＵ３及び第４単位パターンＵ４を含み、単位パターンの四辺の長さを変えずに、第１領域及び第２領域の面積比を変化させた第１パターンＰ１、第２パターンＰ２、第３パターンＰ３、第４パターンＰ４及び第５パターンＰ５を図示している。なお、本例では単位パターンの外形は正方形であり、単位パターンの四辺の長さはそれぞれ等しい。また、第１パターンＰ１について、単位パターンＵと、単位パターンＵから抽出された特徴点Ｆとを図示している。なお、第１パターンＰ１、第２パターンＰ２、第３パターンＰ３、第４パターンＰ４及び第５パターンＰ５は、パターンの一部を拡大して図示したものである。また、第１パターンＰ１について単位パターンＵと特徴点Ｆを図示しているが、第２パターンＰ２、第３パターンＰ３、第４パターンＰ４及び第５パターンＰ５についても同様に単位パターンが含まれ、単位パターンから特徴点が抽出される。

第１パターンＰ１は、単位パターンＵに含まれる第１領域の面積を第２領域の面積で割った面積比が、４／５＝０．８である例である。第２パターンＰ２は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、２１／２９≒０．７２４である例である。第３パターンＰ３は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、３／５＝０．６である例である。第４パターンＰ４は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、５／１３≒０．３８５である例である。第５パターンＰ５は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、０．２である例である。

図６は、撮像条件の変動により乱れたパターンの例を示す図である。同図では、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、画像のコントラストの変更、画像へのノイズ付加、画像の平滑化及び画像のアフィン変換によって、撮像条件の変動を再現したパターンの例を示している。ここで、アフィン変換は、特定方向に関する画像の拡大、縮小、せん断変形を含む。なお、同図では、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、３／５＝０．６であるパターンの例を示している。

「変動無し」と示した図６の１行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、撮像条件の変動が無い場合におけるパターンの例を示している。１行目に示したパターンには、図４に示した４種類の単位パターンが含まれている。

「第１条件」と示した図６の２行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、第１条件で変動されたパターンの例を示している。ここで、第１条件は、最も明るい画素の輝度をＭと表し、最も暗い画素の輝度をＬと表すとき、Ｍ−Ｌ＝３０となるようにコントラストを低下させる条件である。２行目に示したパターンから、第１条件で画像が乱されることで、１行目に示した無変動の場合よりも第１領域と第２領域の識別が困難となっていることが確認できる。

「第２条件」と示した図６の３行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、第２条件で変動されたパターンの例を示している。ここで、第２条件は、最も明るい画素の輝度をＭと表し、最も暗い画素の輝度をＬと表すとき、Ｍ−Ｌ＝３０となるようにコントラストを低下させ、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化する条件である。３行目に示したパターンから、第２条件で画像が乱されることで、１行目に示した無変動の場合よりも第１領域と第２領域の識別がさらに困難となっていることが確認できる。

「第３条件」と示した図６の４行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、第３条件で変動されたパターンの例を示している。ここで、第３条件は、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の拡大を行い、パターンが伸びる方向に３０°のせん断変形を行う条件である。４行目に示したパターンから、第３条件で画像が乱されることで、１行目に示した無変動の場合よりも第１領域と第２領域の識別がさらに困難となっていることが確認できる。

「第４条件」と示した図６の５行目には、画像上における単位パターンの短辺の長さが４画素、５画素及び６画素の場合それぞれについて、第３条件で変動されたパターンの例を示している。ここで、第３条件は、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の縮小を行い、パターンが縮む方向に３０°のせん断変形を行う条件である。５行目に示したパターンから、第４条件で画像が乱されることで、１行目に示した無変動の場合よりも第１領域と第２領域の識別がさらに困難となっていることが確認できる。

図７は、第１態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ１１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ１２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ１３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ１４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ１５で示している。

第１態様で乱されたパターンは、最も明るい画素の輝度をＭと表し、最も暗い画素の輝度をＬと表すとき、Ｍ−Ｌ＝３０となるようにコントラストを低下させ、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化したパターンである。すなわち、第１態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わることで画像が乱れた場合を再現したパターンである。

グラフＧ１１〜Ｇ１５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．８の範囲にあれば、復号の成功率が８０％以上であることがわかる。また、単位パターンの短辺の長さが６画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．９の範囲にあれば、復号の成功率が９０％以上であることがわかる。

設定部４５は、例えば、単位パターンの短辺の長さが６画素から１０画素の場合、単位パターンの第１領域及び第２領域の面積比の範囲を、おおよそ０．４から０．９に設定して、単位パターンの短辺の長さが４画素又は５画素の場合、単位パターンの第１領域及び第２領域の面積比の範囲を、おおよそ０．４から０．８に狭めて設定することとしてもよい。

このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わった場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

図８は、第２態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ２１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ２２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ２３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ２４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ２５で示している。

第２態様で乱されたパターンは、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の拡大を行い、パターンが伸びる方向に２０°のせん断変形を行うことで画像が乱れた場合を再現したパターンである。すなわち、第２態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪むことで画像が乱れた場合を再現したパターンである。

グラフＧ２１〜Ｇ２５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．９の範囲にあれば、復号の成功率が７０％以上であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．９の範囲にあれば、復号の成功率が８０％以上であることがわかる。

このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪んだ場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

図９は、第３態様で乱されたパターンについて、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ３１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ３２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ３３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ３４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ３５で示している。
第３態様で乱されたパターンは、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の縮小を行い、パターンが縮む方向に２０°のせん断変形を行うことで画像が乱れた場合を再現したパターンである。すなわち、第３態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪むことで画像が乱れた場合を再現したパターンである。

グラフＧ３１〜Ｇ３５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３５の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．６から０．７の範囲にあれば、復号の成功率が９０％以上であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．８の範囲にあれば、復号の成功率が９０％以上であることがわかる。

このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪んだ場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

図１０は、本実施形態に係る３次元測定装置１０の投光部２０により投光される、符号化パターンが異なる図形の組み合わせで構成される単位パターンの例を示す図である。同図では、第５単位パターンＵ１１、第６単位パターンＵ１２、第７単位パターンＵ１３及び第８単位パターンＵ１４を図示している。第５単位パターンＵ１１、第６単位パターンＵ１２、第７単位パターンＵ１３及び第８単位パターンＵ１４は、第１領域Ｓ１と第２領域Ｓ２を含むパターンであり、符号化パターンが異なる図形の組み合わせで構成されるように、矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する。

第５単位パターンＵ１１は、左下と右上に白色の第１領域Ｓ１を含み、左上から右下にかけて黒色の第２領域Ｓ２を含む。第６単位パターンＵ１２は、左上と右下に白色の第１領域Ｓ１を含み、左下から右上にかけて黒色の第２領域Ｓ２を含む。第７単位パターンＵ１３は、左上と右下に黒色の第１領域Ｓ１を含み、左下から右上にかけて白色の第２領域Ｓ２を含む。第８単位パターンＵ１４は、左下と右上に黒色の第１領域Ｓ１を含み、左上から右下にかけて白色の第２領域Ｓ２を含む。

ここで、白色で示した領域は、光が照射されている明るい領域であってよく、黒色で示した領域は、光が照射されていない暗い領域であってよい。もっとも、白色で示した領域が、光が照射されていない暗い領域であり、黒色で示した領域が、光が照射されている明るい領域であってもよい。また、白色で示した領域は、例えば青色の光が照射されている領域であってよく、黒色で示した領域は、赤色の光が照射されている領域であってもよいし、白色で示した領域は、第１方向に直線偏光した光が照射されている領域であってよく、黒色で示した領域は、第１方向と直交する第２方向に直線偏光した光が照射されている領域であってもよい。

図１１は、本実施形態に係る３次元測定装置１０の投光部２０により投光され、符号化パターンが異なる図形の組み合わせで構成され、第１領域及び第２領域の面積比が異なるパターンの例を示す図である。同図では、図１０に示す第５単位パターンＵ１１、第６単位パターンＵ１２、第７単位パターンＵ１３及び第８単位パターンＵ１４を含み、単位パターンの四辺の長さを変えずに、第１領域及び第２領域の面積比を変化させた第７パターンＰ１１、第８パターンＰ１２、第９パターンＰ１３及び第１０パターンＰ１４を図示している。また、第７パターンＰ１１について、単位パターンＵと、単位パターンＵから抽出された特徴点Ｆとを図示している。なお、第７パターンＰ１１、第８パターンＰ１２、第９パターンＰ１３及び第１０パターンＰ１４は、パターンの一部を拡大して図示したものである。また、第７パターンＰ１１について単位パターンＵと特徴点Ｆを図示しているが、第８パターンＰ１２、第９パターンＰ１３及び第１０パターンＰ１４についても同様に単位パターンが含まれ、単位パターンから特徴点が抽出される。

第７パターンＰ１１は、単位パターンＵに含まれる第１領域の面積を第２領域の面積で割った面積比が、４／５＝０．８である例である。第８パターンＰ１２は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、２１／２９≒０．７２４である例である。第９パターンＰ１３は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、３／５＝０．６である例である。第１０パターンＰ１４は、単位パターンに含まれる第１領域の面積を第２領域の面積で割った面積比が、５／１３≒０．３８５である例である。

図１２は、符号化パターンが異なる図形の組み合わせで構成されるように、矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する単位パターンを複数含む他の例のパターンが第１態様で乱された場合における、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ４１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ４２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ４３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ４４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ４５で示している。

第１態様で乱されたパターンは、最も明るい画素の輝度をＭと表し、最も暗い画素の輝度をＬと表すとき、Ｍ−Ｌ＝３０となるようにコントラストを低下させ、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化したパターンである。すなわち、第１態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わることで画像が乱れた場合を再現したパターンである。

グラフＧ４１〜Ｇ４５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．７の範囲にあれば、復号の成功率が８０％以上であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．８の範囲にあれば、復号の成功率が９０％以上であることがわかる。

設定部４５は、例えば、単位パターンの短辺の長さが５画素から１０画素の場合、単位パターンの第１領域及び第２領域の面積比の範囲を、おおよそ０．４から０．８に設定して、単位パターンの短辺の長さが４画素の場合、単位パターンの第１領域及び第２領域の面積比の範囲を、おおよそ０．４から０．７に狭めて設定することとしてもよい。

このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わった場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

図１３は、符号化パターンが異なる図形の組み合わせで構成されるように、矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する単位パターンを複数含む他の例のパターンが第２態様で乱された場合における、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ５１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ５２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ５３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ５４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ５５で示している。

第２態様で乱されたパターンは、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の拡大を行い、パターンが伸びる方向に２０°のせん断変形を行うことで画像が乱れた場合を再現したパターンである。すなわち、第２態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪むことで画像が乱れた場合を再現したパターンである。

グラフＧ５１〜Ｇ５５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．７の範囲にあれば、復号の成功率がほぼ１００％であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．９の範囲にあれば、復号の成功率がほぼ１００％であることがわかる。

このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪んだ場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

図１４は、符号化パターンが異なる図形の組み合わせで構成されるように、矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する単位パターンを複数含む他の例のパターンが第３態様で乱された場合における、第１領域及び第２領域の面積比と、パターンからデータを復号する際の成功率との関係を示すグラフである。同図では、画像上における単位パターンの短辺の長さが１０画素の場合を実線のグラフＧ６１で示し、画像上における単位パターンの短辺の長さが８画素の場合を破線のグラフＧ６２で示し、画像上における単位パターンの短辺の長さが６画素の場合を一点鎖線のグラフＧ６３で示し、画像上における単位パターンの短辺の長さが５画素の場合を二点鎖線のグラフＧ６４で示し、画像上における単位パターンの短辺の長さが４画素の場合を点線のグラフＧ６５で示している。

第３態様で乱されたパターンは、標準偏差が５であるガウス分布に基づいて画像にノイズを加え、標準偏差が１であるガウス分布に基づいて画像を平滑化し、ｘ軸方向について２割の縮小を行い、パターンが縮む方向に２０°のせん断変形を行うことで画像が乱れた場合を再現したパターンである。すなわち、第３態様で乱されたパターンは、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪むことで画像が乱れた場合を再現したパターンである。

グラフＧ６１〜Ｇ６５によれば、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が０．３の場合に、復号の成功率が５０％以上となることがわかる。また、単位パターンの短辺の長さが４画素から１０画素のいずれの場合であっても、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．７の範囲にあれば、復号の成功率が９０％以上であることがわかる。また、単位パターンの短辺の長さが５画素から１０画素の場合に、単位パターンの第１領域及び第２領域の面積比が、おおよそ０．４から０．８の範囲にあれば、復号の成功率がほぼ１００％であることがわかる。

このように、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であることで、環境光等によって画像のコントラストが低下し、撮像部３０の撮像素子にノイズが加わり、対象物や背景の斜面にパターンが投光されてパターンが歪んだ場合であっても、第１領域と第２領域を識別することができ、単位パターンの特徴点を抽出し、単位パターンが表すデータを復号することができる。そのため、本実施形態に係る３次元測定装置１０によれば、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

図７〜９及び図１２〜１４によれば、図４に示した比較的大きな正方形で構成される格子模様の中央に１つの比較的小さな正方形を配置した２次元構造を有する単位パターンを複数含むパターンと、図１１に示した矩形で構成される格子模様と円を組み合わせて構成された２次元構造を有する単位パターンを複数含む他の例のパターンとのいずれを用いても、単位パターンに含まれる第１領域と第２領域の面積比が０．３以上０．９以下であり、単位パターンが画像上において短辺が３画素以上１０画素以下の四辺形であれば、パターンからデータを復号する際の成功率が十分に高くなる。従って、パターンからデータを復号する際の成功率は、単位パターンの２次元構造を構成する模様に左右されず、単位パターンに含まれる第１領域と第２領域の面積比と、画像上における単位パターンの短辺の画素数とが重要であると考えられる。

図１５は、本実施形態に係る３次元測定装置１０の投光部２０により投光され、符号化パターンが異なる図形の組み合わせで構成され、第１領域及び第２領域の面積比が異なるパターンの例を列挙した図である。同図では、画像上における単位パターンの短辺の長さが６画素、５画素及び４画素の場合それぞれについて、単位パターンの中央に配置された図形が「正方形」の場合に第1領域の面積を第２領域の面積で割った面積比「Ｓ１／Ｓ２」を「４／５」、「２１／２９」、「３／５」及び「５／１３」と変化させた場合のパターンの例を示している。また、同図では、画像上における単位パターンの短辺の長さが６画素、５画素及び４画素の場合それぞれについて、単位パターンの中央に配置された図形が「円形」の場合に第1領域の面積を第２領域の面積で割った面積比「Ｓ１／Ｓ２」を「４／５」、「２１／２９」、「３／５」及び「５／１３」と変化させた場合のパターンの例を示している。

図１５に示したパターンは、いずれも単位パターンの第１領域の面積を第２領域の面積で割った面積比Ｓ１／Ｓ２が０．３以上０．９以下であり、単位パターンは、画像上で、短辺が３画素以上１０画素以下の四辺形となっている。このようなパターンを用いることで、撮像条件の変動に対するロバスト性を高めつつ、対象物の３次元形状をより高解像度で測定することができる。

図１６は、本実施形態に係る３次元測定装置１０により実行される対象物の３次元形状の測定処理のフローチャートである。なお、対象物の３次元形状の測定処理に先立って、投光部２０及び撮像部３０のキャリブレーションが行われてもよく、投光部２０によってテストパターンを投光して、撮像部３０によりテストパターンを撮像し、テストパターンに含まれる単位パターンが画像上でどの程度の大きさとなるか確認したり、投光部２０により投光する光量や撮像部３０の絞り及び露光時間の調整を行ったりしてもよい。

３次元測定装置１０は、画像上における単位パターンの短辺の画素数に応じて、単位パターンの第１領域の面積を第２領域の面積で割った面積比の範囲を設定する（Ｓ１０）。ここで、面積比の範囲は、画像上における単位パターンの短辺の画素数が少ないほど範囲が狭まるように設定されてよい。

３次元測定装置１０は、設定された範囲に含まれる面積比の第１領域及び第２領域を含む単位パターンを格子状に敷き詰めた２次元構造を有するパターンを、投光部２０により対象物に投光する（Ｓ１１）。３次元測定装置１０は、パターンが投光された対象物の画像を撮像部３０により撮像する（Ｓ１２）。ここで、撮像部３０は、パターンが投光された対象物の画像を一枚撮像すればよい。

３次元測定装置１０は、パターンに含まれる単位パターン毎に特徴点を抽出し、単位パターンの２次元構造によって符号化されたデータを復号する（Ｓ１３）。そして、３次元測定装置１０は、画像における特徴点の位置及び復号されたデータに基づいて、３次元点群の位置を算出する（Ｓ１４）。

その後、３次元測定装置１０は、３次元点群とＣＡＤモデルとのマッチングを行う（Ｓ１５）。最後に、３次元測定装置１０は、マッチングした結果を出力する（Ｓ１６）。以上で３次元形状の測定処理が終了する。なお、３次元点群とＣＡＤモデルとのマッチング及びその結果の出力は、省略されてもよく、３次元測定装置１０は、算出した３次元点群の位置を出力して３次元形状の測定処理が終了してもよい。

§４ 変形例
＜４．１＞
図１７は、本実施形態の第１変形例に係る３次元測定装置１０の投光部２０により投光される単位パターンの例を示す図である。同図では、８つの単位パターンの例を含む第１単位パターン群Ｕ２０と、８つの単位パターンの例を含む第２単位パターン群Ｕ３０とを示している。

第１単位パターン群Ｕ２０のうち左上に示した単位パターンの例について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、第１領域Ｓ１は、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していてよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。

また、第２単位パターン群Ｕ３０のうち左上に示した単位パターンの例について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、第１領域Ｓ１は、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していてよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。

第１領域Ｓ１が、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していることで、単位パターンの２次元構造を比較的複雑にして、単位パターンによって表すことのできるビット数が増え、単位パターンの位置の特定が容易になる。そのため、撮像条件の変動に対するロバスト性を確保しながら、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、ウィンドウマッチングの処理時間を短くして、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

＜４．２＞
図１８は、本実施形態の第２変形例に係る３次元測定装置１０の投光部２０により投光される単位パターンの例を示す図である。同図では、１３の単位パターンの例を含む第３単位パターン群Ｕ４０を示している。

第３単位パターン群Ｕ４０のうち左上に示した単位パターンの例について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、単位パターンは、第１領域Ｓ１が分離せず連続した２次元形状を含んでよい。本例において、第１領域Ｓ１は、第２領域Ｓ２に囲まれた領域である。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。

第１領域Ｓ１が分離せず連続した２次元形状であることで、単位パターンの２次元構造を単純化して、第１領域Ｓ１及び第２領域Ｓ２の識別を容易とすることができる。

また、第３単位パターン群Ｕ４０のうち左下に示した単位パターンの例について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、第１領域Ｓ１は、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していてよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。

第１領域Ｓ１が、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していることで、単位パターンの２次元構造を比較的複雑にして、単位パターンによって表すことのできるビット数を増やし、パターンによって符号化されたデータの密度をさらに向上させることができる。そのため、撮像条件の変動に対するロバスト性を確保しながら、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

第３単位パターン群Ｕ４０として例示するように、投光部２０により対象物に投光されるパターンは、第１領域が分離せず連続した２次元形状を含む単位パターンと、第１領域が、第２領域を挟んで分離した２次元形状を含む単位パターンと、を含んでもよい。このようにして、単位パターンの２次元構造のバリエーションを増加させて、単位パターンによって表すことのできるビット数を増やし、パターンによって符号化されたデータの密度を向上させることができる。そのため、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、より少ない演算で画像上のパターンと投光されたパターンとのマッチングを行うことができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

＜４．３＞
図１９は、本実施形態の第３変形例に係る３次元測定装置１０の投光部２０により投光されるパターンの例を示す図である。同図では、４つの符号化領域Ａの例を示しており、符号化領域Ａは、単位パターンＵ５１、単位パターンＵ５２及び単位パターンＵ５３が２×２の格子状に配列されて構成されたり、単位パターンＵ５４、単位パターンＵ５５及び単位パターンＵ５６が２×２の格子状に配列されて構成されたりしている。１つの符号化領域Ａから１つのデータが復号されてよく、本例に示す４つの符号化領域Ａによって４ビットの情報を表すことができる。

符号化領域Ａのうち左上に示した単位パターンＵ５１について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、単位パターンは、第１領域Ｓ１が分離せず連続した２次元形状を含んでよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。

＜４．４＞
図２０は、本実施形態の第４変形例に係る３次元測定装置１０の投光部２０により投光されるパターンの例を示す図である。同図では、４つの符号化領域Ａの例を示しており、符号化領域Ａは、単位パターンＵ６１、単位パターンＵ６２及び単位パターンＵ６３が２×２の格子状に配列されて構成されたり、単位パターンＵ６４、単位パターンＵ６２及び単位パターンＵ６３が２×２の格子状に配列されて構成されたり、単位パターンＵ６５、単位パターンＵ６２及び単位パターンＵ６３が２×２の格子状に配列されて構成されたり、単位パターンＵ６６、単位パターンＵ６２及び単位パターンＵ６３が２×２の格子状に配列されて構成されたりしている。１つの符号化領域Ａから１つのデータが復号されてよく、本例に示す４つの符号化領域Ａによって４ビットの情報を表すことができる。

符号化領域Ａのうち左上に示した単位パターンＵ６１について、第１領域Ｓ１及び第２領域Ｓ２を図示している。例示するように、単位パターンは、第１領域Ｓ１が分離せず連続した２次元形状を含んでよい。また、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。

＜４．５＞
図２１は、本実施形態の第５変形例に係る３次元測定装置１０の投光部２０により投光される単位パターンの例を示す図である。同図では、単位パターンＵ７０及び単位パターンＵ７１の例を示している。単位パターンＵ７０及び単位パターンＵ７１は、グリッド状の格子パターンを含み、それぞれ格子の太さが異なっている。単位パターンＵ７０及び単位パターンＵ７１では、格子の太さを変更することで第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比を変更している。

第１領域Ｓ１は、単位パターンＵ７０及び単位パターンＵ７１において、第２領域Ｓ２を挟んで３つ以上に分離しており、具体的には９つに分離している。本例の場合も、第１領域Ｓ１の面積を第２領域Ｓ２の面積で割った面積比は、０．３以上０．９以下であってよい。

第１領域Ｓ１が、単位パターンにおいて、第２領域Ｓ２を挟んで３つ以上に分離していることで、単位パターンの２次元構造を比較的複雑にして、単位パターンによって表すことのできるビット数を増やし、パターンによって符号化されたデータの密度をさらに向上させることができる。そのため、撮像条件の変動に対するロバスト性を確保しながら、パターンの列を特定するために復号する必要がある単位パターンの数を減らすことができ、対象物の３次元形状を測定するための画像認識における演算負荷を低減することができる。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

［付記１］
対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部（２０）と、
前記パターンが投光された前記対象物の画像を撮像する撮像部（３０）と、
前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出する算出部（４３）と、を備え、
前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
３次元測定装置（１０）。

［付記２］
前記単位パターンは、前記画像上で、短辺が３画素以上１０画素以下の四辺形である、
付記１に記載の３次元測定装置（１０）。

［付記３］
前記画像上で、前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
付記１又は２に記載の３次元測定装置（１０）。

［付記４］
前記画像上における前記単位パターンの短辺の画素数に応じて、前記投光部（２０）により投光する前記パターンの前記面積比の範囲を設定する設定部（４５）をさらに備える、
付記１から３のいずれか一項に記載の３次元測定装置（１０）。

［付記５］
前記設定部（４５）は、前記画像上における前記単位パターンの短辺の画素数が少なくなるに従って、前記面積比の範囲を狭めるように設定する、
付記４に記載の３次元測定装置（１０）。

［付記６］
前記第１領域及び前記第２領域は、前記投光部（２０）により投光される光の明暗で区別される、
付記１から５のいずれか一項に記載の３次元測定装置（１０）。

［付記７］
前記第１領域及び前記第２領域は、前記投光部（２０）により投光される光の波長帯で区別される、
付記１から５のいずれか一項に記載の３次元測定装置（１０）。

［付記８］
前記第１領域及び前記第２領域は、前記投光部（２０）により投光される光の偏光で区別される、
付記１から５のいずれか一項に記載の３次元測定装置（１０）。

［付記９］
前記単位パターンは、前記第１領域が分離せず連続した２次元形状を含む、
付記１から８のいずれか一項に記載の３次元測定装置（１０）。

［付記１０］
前記単位パターンは、前記第１領域が、前記第２領域を挟んで分離した２次元形状を含む、
付記１から８のいずれか一項に記載の３次元測定装置（１０）。

［付記１１］
前記パターンは、前記第１領域が分離せず連続した２次元形状を含む前記単位パターンと、前記第１領域が、前記第２領域を挟んで分離した２次元形状を含む前記単位パターンと、を含む、
付記１から８のいずれか一項に記載の３次元測定装置（１０）。

［付記１２］
前記第１領域は、前記単位パターンにおいて、前記第２領域を挟んで２つに分離している、
付記１０又は１１に記載の３次元測定装置（１０）。

［付記１３］
前記第１領域は、前記単位パターンにおいて、前記第２領域を挟んで３つ以上に分離している、
付記１０又は１１に記載の３次元測定装置（１０）。

［付記１４］
前記投光部（２０）は、投光する前記パターンの大きさを変調させる変調素子を含む、
付記１から１３のいずれか一項に記載の３次元測定装置（１０）。

［付記１５］
対象物に、２次元構造によってデータが符号化されたパターンを投光することと、
前記パターンが投光された前記対象物の画像を撮像することと、
前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出することと、を含み、
前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
３次元測定方法。

［付記１６］
対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部（２０）と、前記パターンが投光された前記対象物の画像を撮像する撮像部（３０）と、を備える３次元測定装置（１０）に備えられた演算部を、
前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出する算出部（４３）として動作させ、
前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
３次元測定プログラム。

１０…３次元測定装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、２０…投光部、３０…撮像部、４０…制御部、４１…画像入力部、４２…画像記録部、４３…算出部、４４…３次元点群出力部、４５…設定部、５０…認識部、５１…モデル記憶部、５２…マッチング計算部、５３…マッチング出力部

Claims (16)

1. 対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部と、
   前記パターンが投光された前記対象物の画像を撮像する撮像部と、
   前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出する算出部と、を備え、
   前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
   前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
   前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
   ３次元測定装置。
2. 前記単位パターンは、前記画像上で、短辺が３画素以上１０画素以下の四辺形である、
   請求項１に記載の３次元測定装置。
3. 前記画像上で、前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
   請求項１又は２に記載の３次元測定装置。
4. 前記画像上における前記単位パターンの短辺の画素数に応じて、前記投光部により投光する前記パターンの前記面積比の範囲を設定する設定部をさらに備える、
   請求項１から３のいずれか一項に記載の３次元測定装置。
5. 前記設定部は、前記画像上における前記単位パターンの短辺の画素数が少なくなるに従って、前記面積比の範囲を狭めるように設定する、
   請求項４に記載の３次元測定装置。
6. 前記第１領域及び前記第２領域は、前記投光部により投光される光の明暗で区別される、
   請求項１から５のいずれか一項に記載の３次元測定装置。
7. 前記第１領域及び前記第２領域は、前記投光部により投光される光の波長帯で区別される、
   請求項１から５のいずれか一項に記載の３次元測定装置。
8. 前記第１領域及び前記第２領域は、前記投光部により投光される光の偏光で区別される、
   請求項１から５のいずれか一項に記載の３次元測定装置。
9. 前記単位パターンは、前記第１領域が分離せず連続した２次元形状を含む、
   請求項１から８のいずれか一項に記載の３次元測定装置。
10. 前記単位パターンは、前記第１領域が、前記第２領域を挟んで分離した２次元形状を含む、
    請求項１から８のいずれか一項に記載の３次元測定装置。
11. 前記パターンは、前記第１領域が分離せず連続した２次元形状を含む前記単位パターンと、前記第１領域が、前記第２領域を挟んで分離した２次元形状を含む前記単位パターンと、を含む、
    請求項１から８のいずれか一項に記載の３次元測定装置。
12. 前記第１領域は、前記単位パターンにおいて、前記第２領域を挟んで２つに分離している、
    請求項１０又は１１に記載の３次元測定装置。
13. 前記第１領域は、前記単位パターンにおいて、前記第２領域を挟んで３つ以上に分離している、
    請求項１０又は１１に記載の３次元測定装置。
14. 前記投光部は、投光する前記パターンの大きさを変調させる変調素子を含む、
    請求項１から１３のいずれか一項に記載の３次元測定装置。
15. 対象物に、２次元構造によってデータが符号化されたパターンを投光することと、
    前記パターンが投光された前記対象物の画像を撮像することと、
    前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出することと、を含み、
    前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
    前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
    前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
    ３次元測定方法。
16. 対象物に、２次元構造によってデータが符号化されたパターンを投光する投光部と、前記パターンが投光された前記対象物の画像を撮像する撮像部と、を備える３次元測定装置に備えられた演算部を、
    前記パターンの特徴点を抽出して、前記画像における前記特徴点の位置及び復号された前記データに基づいて、前記対象物の３次元形状を表す３次元点群の位置を算出する算出部として動作させ、
    前記パターンは、少なくとも２ビットを表し、前記特徴点を含み、前記３次元点群の位置を算出するために用いられる最小単位の単位パターンを複数含み、
    前記単位パターンは、第１領域と、前記第１領域と区別され、前記第１領域よりも面積の大きい第２領域とを含み、
    前記第１領域の面積を前記第２領域の面積で割った面積比は、０．３以上０．９以下である、
    ３次元測定プログラム。

Images