JP6465682B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、計測対象物体への投影パターンの投影とその投影像の撮影によって、計測対象物体の表面の３次元形状を計測する技術に関するものである。

３次元センサの計測アルゴリズムの１つとして、計測対象物体に投影パターンを投影し、それを撮影して得られた画像から、計測対象物体までの距離と計測対象物体の面方向を計測する方法がある。計測された距離と面方向の情報は、例えば、計測対象物体の３次元形状の検査、モデルフィッティング、表面形状モデル（ポリゴン等によって構成される）への変換等に利用できる。

下記の特許文献１では、２本の線（以降、物体に投影する線状の光を「計測線」と呼ぶ）を計測対象物体に投影し、光切断法の原理に基づいて計測対象物体までの距離を計測している。また、下記の特許文献１では、計測対象物体の面方向については、距離の計測に用いた２本の計測線の間に３角メッシュを構成することで計算している。ここで、計測線の間に構成する３角メッシュは、正三角形に近く、尚且つその面積が小さいほど計測対象物体の局所面を良く近似する。従って、計測線の間隔を密にして、そこから構成できる３角メッシュの面積を小さくすることで、計測する面方向の精度が上がる。

特開平６−２８１４３３号公報 特開平１−２７４００７号公報

M. Kimura, "Projector Calibration using Arbitrary Planes and Calibrated Camera"Computer Vision and Pattern Recognition, CVPR, 2007. R. Y. Tsai, "A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses" IEEE Journal of Robotics and Automation, vol.RA-3, no.4, 1987.

しかしながら、上述した特許文献１に記載の方法では、投影する計測線が２本だけであるため、一度の撮影では計測対象物体における複数個所の面の距離と面方向を取得することが困難であるという問題があった。

本発明は、このような問題点に鑑みてなされたものであり、一度の撮影で計測対象物体における複数個所の面の距離と面方向を計測可能な仕組みを提供することを目的とする。

本発明の情報処理装置は、所定値よりも狭い間隔で設けられた幾何図形の組を、前記所定値よりも広い間隔で複数並べて形成された投影パターンを出力する出力手段と、前記投影パターンを計測対象物体に投影した状態で撮像装置により撮像された画像を取得する取得手段と、前記画像から前記投影パターンにおける前記幾何図形を検出する検出手段と、前記検出手段により検出された幾何図形から、前記幾何図形の組を判定する判定手段と、前記検出手段により検出された幾何図形が前記投影パターンの何れの幾何図形であるかを識別する識別手段と、前記検出手段により検出された幾何図形における前記画像での位置と、前記識別手段により識別された幾何図形における前記投影パターンでの位置とに基づいて、前記検出手段により検出された幾何図形が投影された前記計測対象物体の面における所定の基準座標からの距離を算出する距離算出手段と、前記距離算出手段により算出された距離に基づいて、前記判定手段により判定された幾何図形の組が投影された前記計測対象物体の面における面方向を算出する面方向算出手段とを有する。
また、本発明は、上述した情報処理装置を含む情報処理システム、上述した情報処理装置による情報処理方法、並びに、当該情報処理方法をコンピュータに実行させるためのプログラムを含む。

本発明によれば、一度の撮影で計測対象物体における複数個所の面の距離と面方向を計測することができる。

本発明の第１の実施形態を示し、計測対象物体に投影する投影パターンの一例を示す図である。 本発明の第１の本実施形態に係る情報処理システムの概略構成の一例を示す図である。 本発明の第１の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、図２に示す画像取得部により取得された、投影パターンの投影画像の一例を示す図である。 本発明の第１の実施形態における変形例１を示し、計測対象物体に投影する投影パターンの一例を示す図である。 本発明の第２の実施形態を示し、計測対象物体に投影する投影パターンの一例を示す図である。 本発明の第３の実施形態を示し、計測対象物体に投影する投影パターンの一例を示す図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

以下に、一度の撮影で計測対象物体における複数個所の面の距離と面方向を計測する実施形態について説明する。本実施形態では、計測対象物体における複数個所の面の距離と面方向を安定的に計測し、且つ面方向については高精度に計測する。

図１は、本発明の第１の実施形態を示し、計測対象物体に投影する投影パターンの一例を示す図である。

本実施形態では、図１に示すように、所定値よりも狭い間隔で設けられた幾何図形の組１０２を、前記所定値よりも広い間隔で複数並べて形成された投影パターン１００を利用する。ここで、投影パターン１００に含まれる幾何図形は、投影パターン１００を計測対象物体に投影した状態で撮像された画像上でそれを検出し、投影パターン１００と画像との対応を取得するマーカーとして利用する。ここで、図１に示す投影パターン１００では、幾何図形として線（計測線１０１）を用いている。

図１に示す投影パターン１００では、高精度に計測対象物体の面方向を計測できるように、密な間隔（即ち所定値よりも狭い間隔）で設けられた幾何図形の組（以下、「計測線の組１０２」とする）を並べている。

また、複数の計測線が設けられた投影パターンで光切断法により距離計測を行う場合、画像上で観測される計測線が投影パターンの何れの計測線であるかを識別することで、投影パターンとそれを観測する画像とのステレオの対応関係を計算する必要がある。そのため、本実施形態に係る投影パターンでは、幾何図形である計測線１０１を識別するための識別情報を含む。具体的に、本例では、識別情報として、計測線上にランダムに配置した識別用特徴である線上の切れ１０３を利用する。なお、計測線の切れを利用した識別方法は公知であり、例えば、上記の特許文献２に示す方法で識別する。

ただし、計測線の組を作った分、投影パターンの全体の計測線の本数が増加（即ち、画像上で観測した計測線を識別する際の解の候補が増加）するため、識別性能は低下する。この対策として、本実施形態では、画像上で観測される計測線の組１０２の情報を利用して、計測線の組１０２として判定された計測線が同一の組として識別されるように解の候補を絞ることで、識別性能を向上させる。

まとめると、本実施形態では、密な間隔（即ち所定値よりも狭い間隔）で設けられた計測線の組１０２を、前記所定値よりも広い間隔で複数並べて形成された投影パターン１００を計測対象物体に投影することで、一度の撮影で計測対象物体における複数個所の面の距離と面方向を計測する。

さらに、本実施形態では、計測線の組１０２の間隔を所定値の間隔よりも密にしているため、各計測線に対して面積の小さい面を構成することが可能になる。これにより、計測対象物体の面方向を高精度に計測できる。

また、本実施形態では、計測線１０１を組単位で識別することで、識別の対象となる計測線１０１の候補を絞り、識別性能を向上させる。これにより、計測線の組１０２を追加しても、安定的に計測線１０１を識別できるため、計測対象物体における複数個所の面の距離と面方向を安定的に計測することができる。

図２は、本発明の第１の本実施形態に係る情報処理システムの概略構成の一例を示す図である。
本実施形態に係る情報処理システム２００は、図２に示すように、情報処理装置２１０、投影装置２２０、及び、撮像装置２３０を有して構成されている。

また、情報処理装置２１０は、図２に示すように、投影パターン出力部２１１、画像取得部２１２、幾何図形検出部２１３、幾何図形組判定部２１４、幾何図形識別部２１５、距離算出部２１６、及び、面方向算出部２１７を有して構成されている。

投影装置２２０は、濃淡等の投影パターン１００を計測対象物体Ｋに投影する、例えばプロジェクターである。投影装置２２０の焦点距離や主点位置、レンズ歪パラメータ等の内部パラメータ情報、撮像装置２３０に対する投影装置２２０の相対的な位置姿勢の情報は、予め校正しておく。この校正方法は公知であり、例えば、上記の非特許文献１に示す方法で校正する。

撮像装置２３０は、投影装置２２０により投影パターン１００が計測対象物体Ｋに投影された状態で濃淡画像を撮像するカメラである。撮像装置２３０の焦点距離や主点位置、レンズ歪パラメータ等の内部パラメータ情報は、予め校正しておく。この校正方法は公知であり、例えば、上記の非特許文献２に示す方法で校正する。

投影パターン出力部２１１は、計測対象物体Ｋに投影するための投影パターンを投影装置２２０に出力する。本実施形態では、図１に示すように、所定値よりも狭い間隔で設けられた計測線の組１０２を、前記所定値よりも広い間隔で複数並べて形成された投影パターン１００を出力する。

画像取得部２１２は、投影パターン１００を計測対象物体Ｋに投影した像を撮像装置２３０で撮像した画像（本実施形態では濃淡画像）を、撮像装置２３０から取得する。

幾何図形検出部２１３は、画像取得部２１２により取得された画像から、投影装置２２０によって投影された投影パターン１００における幾何図形を検出する。具体的に、本実施形態では、幾何図形として図１に示す計測線１０１に対応する計測線を検出する。

幾何図形組判定部２１４は、幾何図形検出部２１３により検出された幾何図形から、幾何図形の組を判定する。具体的に、本実施形態では、幾何図形の組として図１に示す計測線の組１０２に対応する計測線の組を判定する。

幾何図形識別部２１５は、幾何図形検出部２１３により検出された幾何図形が、投影パターン１００の何れの幾何図形であるかを識別する。

距離算出部２１６は、幾何図形検出部２１３により検出された幾何図形における画像での位置と、幾何図形識別部２１５により識別された幾何図形における投影パターン１００での位置とに基づいて、幾何図形検出部２１３により検出された幾何図形が投影された計測対象物体Ｋの面における所定の基準座標からの距離を算出する。ここで、本実施形態においては、所定の基準座標の一例として撮像装置２３０の光学中心の座標を適用し、この場合、距離とは、具体的に、撮像装置２３０の光学中心から、画像上で観測される幾何図形が投影された計測対象物体Ｋの面までの長さである。

面方向算出部２１７は、距離算出部２１６により算出された距離に基づいて、幾何図形組判定部２１４により判定された幾何図形の組が投影された計測対象物体Ｋの面における面方向を算出する。より具体的に、本実施形態では、面方向算出部２１７は、撮像装置２３０を基準とした面の法線方向を面方向として算出する。

次に、本実施形態に係る情報処理装置２１０による情報処理方法の処理手順について説明する。

図３は、本発明の第１の実施形態に係る情報処理装置による情報処理方法の処理手順の一例を示すフローチャートである。

＜ステップＳ３０１＞
まず、ステップＳ３０１において、投影パターン出力部２１１は、計測対象物体Ｋに投影するための投影パターンを投影装置２２０に出力する。ここで、投影パターン出力部２１１から出力する投影パターン１００は、図１に示すように、高精度な面方向を計測するために、密な間隔（即ち所定値よりも狭い間隔）で設けられた計測線の組１０２を並べたものである。また、投影パターン出力部２１１から出力する投影パターン１００には、図１に示すように、計測線１０１に識別用特徴である線上の切れ１０３を含める。その後、投影装置２２０から計測対象物体Ｋに投影パターン１００が投影される。

＜ステップＳ３０２＞
その後、撮像装置２３０において、投影パターン１００が計測対象物体Ｋに投影された状態でその画像の撮像が行われると、ステップＳ３０２において、画像取得部２１２は、撮像装置２３０で撮像された画像を撮像装置２３０から取得する。

＜ステップＳ３０３＞
続いて、ステップＳ３０３において、幾何図形検出部２１３は、画像取得部２１２により取得された画像から、投影装置２２０によって投影された投影パターン１００における幾何図形（本実施形態では計測線１０１）を検出する。ここでは、幾何図形検出部２１３は、画像に対してソベルフィルタを適用して画像上の輝度値のピーク位置を検出した後、画像の画素間で隣接するピーク位置をラベリングして繋げ、特定値以上のラベル数を持つ画素群を計測線１０１として検出する。

＜ステップＳ３０４＞
続いて、ステップＳ３０４において、幾何図形組判定部２１４は、幾何図形検出部２１３により検出された幾何図形（計測線１０１）から、幾何図形の組（計測線の組１０２）を判定する。画像上で観測される計測線１０１は、計測対象物体Ｋの凹凸の影響で隠れが発生する場合がある。そのため、画像上で或る計測線とその近傍に位置する計測線とが、必ずしも計測線の組となるとは限らない。

図４は、本発明の第１の実施形態を示し、図２に示す画像取得部２１２により取得された、投影パターンの投影画像４００の一例を示す図である。
図４に示す投影パターンの投影画像４００は、中央に凸部４１１のある計測対象物体４１０に対して密な計測線の組を並べた投影パターンを投影し、それを撮影した画像の例を示している。なお、図４に示す例では、計測線の組の判定に関する説明をする上で、計測線の識別用特徴（図１に示す線上の切れ１０３）は関係がないため、図示していない。

例えば、図４の計測線４０１の近傍に位置する計測線を考えると、計測線４０２となるが、この計測線４０２は、投影した投影パターンにおいて計測線４０１と組となる計測線ではない。これは、計測線４０１と組となる計測線が、凸部４１１によって隠れているために発生する。ここで、計測線４０１と計測線４０２とを誤って計測線の組と判定し、計測線４０１と計測線４０２との間に３角メッシュを構成すると、本来なら段差がある部分に対して面を貼ることになるめ、間違った角度の面方向が面方向算出部２１７で算出されることになる。また、幾何図形識別部２１５において計測線を識別する際に、誤った計測線の組の判定結果を利用した場合、計測線の誤識別が発生する。これらの不具合を防ぐため、画像上で観測される計測線から、計測線の組の判定を正確に行う必要がある。

そこで、本実施形態では、例えば、計測線の組の間隔が密である（即ち、所定値よりも狭い間隔である）ことを利用して、画像上で検出した或る計測線とその近傍に位置する計測線とについて、画像上での間隔が前記所定値に基づく所定閾値よりも狭い間隔、もしくは所定閾値と等しい間隔であれば両者は計測線の組であると判定し、画像上での間隔が前記所定閾値よりも狭くない間隔であれば両者は計測線の組ではないと判定する。ここで利用する所定閾値は、予め設定された固定値であっても良いし、画像上から複数の計測線間隔を計量した後、その統計値に基づいて設定された値であっても良い。この際、統計値を利用する方法としては、計測線の隠れが発生して組ではない計測線の間隔が混入するサンプルは少数であると仮定し、例えば、線の間隔の平均値や中央値等を代表的な組の計測線の間隔として、その代表値が収まるような所定値を計算しても良い。

＜ステップＳ３０５＞
続いて、ステップＳ３０５において、幾何図形識別部２１５は、幾何図形検出部２１３により検出された幾何図形が、投影パターン１００の何れの幾何図形（計測線１０１）であるかを識別する。本例では、計測線の識別用特徴（線上の切れ１０３）と、幾何図形組判定部２１４による計測線の組の判定結果とに基づいて、計測線を識別する。計測線上の切れに基づいた識別方法は公知であり、例えば、上記の特許文献２に示す方法で識別する。具体的に、幾何図形識別部２１５は、検出した計測線の切れの位置に基づいて、投影パターンのエピポーラ線上にマッチングを行うことで、検出した計測線が投影パターンの何れの計測線であるかを識別する。

本実施形態では、さらに、幾何図形識別部２１５は、幾何図形組判定部２１４による計測線の組の判定結果を用いて計測線を組単位で識別することで、識別先の解の候補の絞り込みを行う。これにより、計測線の組を作った分、投影パターン全体の計測線の本数が増加（即ち解の候補が増加）して、計測線の識別性能が低下する問題を防ぐことができる。

例えば、投影パターンの計測線の本数を２Ｎ本とする。画像上で観測した各計測線をそれぞれ識別する場合、２Ｎ本の候補の中から解を推定することになる。一方、計測線の組が判定されている状況であれば、２つの計測線が組である拘束を利用して、組単位での識別が可能になる。この場合、判定した組の候補となる個数は半分のＮ個（投影パターンの組の個数）となり、少ない候補から安定して計測線の識別を行うことができる。

計測線の組の判定結果を用いた具体的な識別方法としては、幾何図形識別部２１５は、まず、識別用特徴を利用して、それぞれの計測線が、投影パターン１００の何れの計測線に相当するかの候補を選出する。ここで、投影パターンの線数が増えた分、解の候補が複数発生する可能性が高くなるが、幾何図形識別部２１５は、計測線の組の判定結果に基づいて、２本の計測線が組として識別されない候補の組み合わせを取り除く。これにより、候補を絞って計測線を識別することができる。ただし、幾何図形識別部２１５は、計測線の組となる計測線が見つからなかった計測線に関しては、計測線の組の判定結果を利用できないため、識別情報のみを利用して計測線を識別する。幾何図形識別部２１５は、上述した方法によって、計測線を組単位で識別することで、安定的に効率良く計測線を識別する。

＜ステップＳ３０６＞
続いて、ステップＳ３０６において、距離算出部２１６は、幾何図形検出部２１３により検出された幾何図形が投影された計測対象物体Ｋの面における所定の基準座標からの距離を算出する。具体的に、距離算出部２１６は、幾何図形検出部２１３により検出された幾何図形における画像での位置（具体的には、計測線上の各画素の位置）と、幾何図形識別部２１５により識別された幾何図形における投影パターンでの位置（具体的には、投影パターン上での計測線の位置）との関係から、光切断法の原理に基づいて、上述した距離を算出する。以上の処理を、幾何図形検出部２１３により検出された幾何図形の全てについて行うことで、計測対象物体Ｋの複数個所の面における所定の基準座標からの距離を算出する。

＜ステップＳ３０７＞
続いて、ステップＳ３０７において、面方向算出部２１７は、距離算出部２１６により算出された距離に基づいて、幾何図形組判定部２１４により判定された幾何図形の組が投影された計測対象物体Ｋの面における面方向を算出する。

本実施形態では、具体的に、面方向算出部２１７は、まず、幾何図形組判定部２１４により計測線の組として判定された計測線上の各画素の点（注目点）と、当該注目点に近接する点である、同一計測線上の他の点及び当該計測線と組を形成する他方の計測線上の点との計３点の距離値が示す３次元位置に基づいて、３角メッシュを構成する。次いで、面方向算出部２１７は、構成した３角メッシュの角度から、当該計測線の組が投影された計測対象物体Ｋの面における面方向（本実施形態では、具体的に面の法線）を算出する。そして、面方向算出部２１７は、以上の処理を、幾何図形組判定部２１４により計測線の組として判定された全ての計測線上の画素の点について行うことで、計測線の組が投影された計測対象物体Ｋの面における面方向を算出する。

ステップＳ３０７の処理が終了すると、図３に示すフローチャートの処理が終了する。

以上説明したように、本実施形態に係る情報処理装置によれば、所定値よりも狭い間隔で設けられた計測線の組を、前記所定値よりも広い間隔で複数並べて形成された投影パターンを計測対象物体に投影して撮影を行うようにしたので、一度の撮影で計測対象物体における複数個所の面の距離と面方向を計測することができる。
さらに、所定値よりも狭い間隔で設けられた計測線の組を計測対象物体に投影しているため、各計測線に対して面積の小さい面を構成することが可能になる。これにより、計測対象物体における面の面方向を高精度に計測することができる。また、計測線を組単位で識別することにより、識別先の解の候補を絞り、識別性能を向上させることができる。これにより、計測線の組を追加しても、安定的に計測線を識別できるため、計測対象物体における複数個所の面の距離と面方向を安定的に計測することができる。

また、本実施形態で計測された距離と面方向の情報は、例えば、計測対象物体の３次元形状の検査、モデルフィッティング、表面形状モデルへの変換等に利用できる。例えば、計測した距離と面方向の情報に基づいて、計測対象物体の所定の部位が、所定の位置・面方向であるかを検査しても良い。ここでは、面方向の情報を利用することで、計測対象物体の角度に関する検査が可能になる。また、距離と面方向の情報に基づいて、計測対象物体のキズ等の不良品の有無を検査しても良い。計測対象物にキズがある場合、その個所で面方向が変化する。この傾向を利用し、本実施形態により計測した面方向に変化がある部分を計算することで、キズ等の不良品の有無を検査できる。また、計測した距離と面方向の情報に基づいて、ＩＣＰ（Iterative Closest Point）法によってＣＡＤモデルのフィッティングを行っても良い。モデルフィッティングは、計測した距離と面方向の情報を持つ点群と、ＣＡＤモデル上の各部の点群とを対応付け、３次元的な位置と面方向の差を小さくするようにＣＡＤモデルの位置姿勢を計算する。ここでは、距離と面方向の２つの情報を利用し、情報が増えることで、精度良く位置姿勢を計測できる。また、計測した距離と面方向の情報に基づいて、ポリゴンから構成させる表面形状モデルを生成しても良い。例えば、距離と面方向が近接する点同士をつなげ合わせ３角メッシュを構成することで、表面形状モデルを生成できる。

また、本実施形態では、１回の画像撮影で計測対象物体に投影した幾何図形上の距離と面方向を計測する。他の方法として、１回の画像撮影ではなく、パターン上の幾何図形の位置を変化させて、複数回の計測を行っても良い。パターン上の幾何図形の位置を変化させると、計測対象物体上で観察される幾何図形の位置が変化するため、計測対象物体の異なる部位の距離と面方向を計測できる。つまり、パターン上の幾何図形の位置を変化させて、複数回の計測を行うことで、１回の計測では取得できない部位の情報を取得できる。そして、複数回の計測結果を統合することで、空間的に密度の高い距離と面方向を取得できる。

または、撮像装置と計測対象物体の相対的な位置姿勢を変化させて、複数回の計測を行っても良い。パターン上の幾何図形の位置を変化させる例と同様に、撮像装置と計測対象物体の相対的な位置姿勢を変化させることで、計測対象物体上で観察される幾何図形の位置が変化するため、計測対象物体の異なる部位の距離と面方向を計測できる。この時、撮像装置と計測対象物体の相対的な位置姿勢は、ロボットやターンテーブル等で変化させても良い。この場合、相対的な位置姿勢は、ロボットやターンテーブルの制御値から取得できる。

なお、本実施形態における投影装置２２０は、２次元の投影パターンを投影するものであればどのような装置であっても良い。例えば、２次元の投影パターンを投影するプロジェクターであっても良いし、光源とマスクパターンを組み合わせた装置であっても良い。また、投影する投影パターンは、濃淡パターンであっても良いし、カラーパターンであっても良い。

また、画像取得部２１２で取得する画像は、２次元の画像であればどのような画像であっても良い。例えば、濃淡画像であっても良いし、カラー画像であっても良い。また、画像取得部２１２による画像の取得方法は、撮像装置２３０から直接取得しても良いし、一度メモリ上に格納した画像を後から取得しても良いし、ネットワークから取得しても良い。

また、幾何図形検出部２１３における計測線の検出方法は、画像上から線を検出する方法であれば、どのような方法であっても良い。例えば、ソベルフィルタによって検出したエッジをラベリングすることで検出しても良いし、特定の閾値で２値化した画像を細線化することで検出しても良い。

また、面方向算出部２１７で算出する面方向は、計測線の組が投影された計測対象物体Ｋの面における面方向を算出する方法であればどのような方法であっても良い。例えば、計測線の組の近接する３点の３角メッシュを構成することで面方向を算出しても良いし、計測線の組の各領域内の複数の画素の距離に対して平面フィッティングを行うことで面方向を算出しても良い。

また、例えば、距離算出部２１６では、距離を計測線上の全ての画素について算出し、面方向算出部２１７では、面方向を組と判定した計測線上の全ての画素について算出する。ただし、必ずしも計測線上の全ての画素について距離及び面方向を算出する必要はなく、例えば、画像上の指定した領域内について距離及び面方向を算出しても良いし、所定の間隔で間引いて距離及び面方向を算出しても良い。また、面方向算出部２１７では、組と判定した計測線について面方向を算出するが、組以外の２本の計測線を利用して面方向を算出しても良い。この場合、推定される面方向は高精度なものが期待できない場合があるが、取得できる面方向の数が増える。

［変形例１］
まず、本発明の第１の実施形態における変形例１について説明する。
本変形例１では、幾何図形である計測線の識別方法に関するバリエーションについて説明する。

上述した第１の実施形態では、幾何図形識別部２１５において、幾何図形である計測線を識別するために、計測線上に配置した識別用特徴（線上の切れ１０３）を利用した。ただし、幾何図形識別部２１５による識別方法としては、画像上で観測される計測線が投影パターンの何れの計測線であるかを識別するものであれば、どのような方法であっても良い。

例えば、投影パターン上の幾何図形に符号を与え（ここで、符号とは、幾何図形上又はその周辺に与える図形であり、上述した第１の実施形態では計測線上の切れ１０３が符号に相当する）、その符号位置を識別用特徴として利用して計測線の識別を行っても良い。この際、符号位置を識別用特徴として利用した識別方法としては、例えば、投影パターンに配置する符号位置の間隔を計測線毎に変えて、画像上で観測される符号位置の間隔に基づいて計測線を識別しても良いし、符号位置に所定の規則を与え、画像上で観測される符号位置の規則に基づいて計測線を識別しても良い。また、符号位置の規則としては、例えば、デブルーイン数列やＭ系列に基づいた間隔で幾何図形に符号を配置し、画像上で観測される所定領域の符号を見た時に、その符号が投影パターンの何れの符号に対応するものが一意的に決定されるものを利用しても良い。

図５は、本発明の第１の実施形態における変形例１を示し、計測対象物体に投影する投影パターンの一例を示す図である。
計測線の切れ以外の符号の例として、図５の投影パターン５００に示すように、密な線間隔（即ち所定値よりも狭い間隔）で設けられた計測線の組５０２を並べた投影パターンに、さらに垂直に交差する線５０３を複数加えたグリッド状の投影パターンを利用し、画像上で観測される交点位置に基づいて計測線５０１を識別しても良い。この場合、例えば、画像上で観測される線の交点位置に基づいて、投影パターン５００のエピポーラ線上を探索し、マッチングする計測線を選択することで計測線５０１の識別を行う。

また、幾何図形である計測線の色を識別用特徴として用いて、例えば、計測線毎に色を変えた投影パターンを利用する方法であっても良い。この場合、画像上で観測される計測線の色の違いに基づいて、計測線の識別を行う。また、幾何図形である計測線の色の代わりに、識別用特徴として、計測線の太さ（幾何図形である計測線の大きさ）や形状を用いて、これらを変えることで、計測線の識別を行っても良い。

また、他の例として、計測対象物体Ｋの概略位置と形状が分かっている場合、その概略位置と形状情報とに基づいて、投影装置２２０から投影される計測線が画像上でどの位置に観測されるかを予測し、画像上で検出した計測線の位置に近接する予測位置の幾何図形を計算することで、計測線の識別を行っても良い。

即ち、幾何図形識別部２１５による計測線の識別方法としては、上述した識別用特徴、及び、上述した予測位置のうち少なくとも１つを識別情報とし、当該識別情報に基づいて、計測線の識別を行っても良い。

以上説明したように、幾何図形識別部２１５による計測線の識別方法は、画像上で観測される計測線が投影パターンの何れの計測線であるかを識別するものであれば、どのような方法であっても良い。

［変形例２］
次に、本発明の第１の実施形態における変形例２について説明する。
本変形例２では、幾何図形識別部２１５は、幾何図形である計測線の識別情報と幾何図形組判定部２１４による計測線の組の判定結果とに基づいて、計測線を識別する。このように、幾何図形識別部２１５による計測線の識別の際に、幾何図形組判定部２１４による計測線の組の判定結果を用いることで、識別性能を更に向上させることができる。ただし、計測線の組の判定結果は必ずしも利用しなくても良く、識別情報のみを利用して計測線を識別しても良い。計測線の組の判定結果を計測線の識別に利用しない場合、識別性能は低下するが、処理は簡素になり、処理の実行速度は向上する。また、この場合、図２に示す幾何図形組判定部２１４と幾何図形識別部２１５との接続関係は不要になる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態では、幾何図形の組である計測線の組における判定方法に関するバリエーションについて説明する。

本実施形態における幾何図形組判定部２１４では、画像上で検出される計測線の間隔に基づいて、計測線の組の判定を行う。ただし、計測線の組の判定方法に関しては、これ以外の方法であっても良く、画像上で観測される計測線のうち、投影パターン１００で計測線の組１０２となっている計測線を判定するものであれば、どのような方法であっても良い。

また、本実施形態では、投影パターンの幾何図形である計測線に、計測線の組を判定するための組判定用特徴を備えるようにしても良い。この場合、幾何図形組判定部２１４は、幾何図形検出部２１３により検出された或る計測線とその近傍に位置する計測線とに備わる組判定用特徴が所定の規則に従うか否かに応じて、当該或る幾何図形とその近傍に位置する幾何図形とが計測線の組であるか否かを判定する態様を採る。

図６は、本発明の第２の実施形態を示し、計測対象物体に投影する投影パターンの一例を示す図である。
図６に示す例は、組判定用特徴として計測線に色を与えた例である。計測線の組６０３を色分けした投影パターン６００は、計測線の組となる各計測線の色を変えて、それぞれ、色Ａ６０１及び色Ｂ６０２としている。幾何図形組判定部２１４は、この規則を利用して、画像上で観測される近接する計測線の色の順序が、前記規則に従う場合にはこれらの計測線は計測線の組であると判定し、前記規則に従わない場合にはこれらの計測線は計測線の組ではないと判定しても良い。

また、計測線の組となる２つの計測線を同一色になるように投影パターンを設計して、幾何図形組判定部２１４は、画像上で観測される近接する計測線の色が同一であるか否かに基づいて、計測線の組であるか否かを判定しても良い。また、組判定用特徴として、幾何図形である計測線の色ではなく、例えば、計測線の太さ（幾何図形である計測線の大きさ）や形状を用いて、これらを変えることで、計測線の組を判定しても良い。この場合、例えば、計測線の組の一方の計測線を細線とし、他方の計測線を太線として、画像上で観測される計測線の太さの順序が、設定した順序であるか否かに応じて、計測線の組であるか否かを判定しても良い。

また、組判定用特徴として、幾何図形である計測線の符号位置を適用しても良い。即ち、計測線に所定の規則で符号を配置して、画像上で観測される符号が所定の規則に従うか否かに応じて計測線の組であるか否かを判定しても良い。この場合、計測線の組を判定するための規則としては、例えば、計測線の組となる計測線は同一位置（線に沿う方向に同じ位置）に符号を配置し、画像上で観測される計測線の符号が同一位置であるか否かに応じて、計測線の組であるか否かを判定する。

また、第１の実施形態で説明した識別用特徴（具体的には線上の切れ１０３）を組判定用特徴としても利用しても良い。例えば、近接する２つの計測線のそれぞれの識別用特徴からそれぞれの計測線の識別を行い、２つの計測線が同一組になる識別結果の候補が存在する場合には計測線の組と判定し、存在しない場合には計測線の組ではないと判定しても良い。

さらに、幾何図形組判定部２１４は、幾何図形検出部２１３により検出された或る計測線とその近傍に位置する計測線との間にある画像領域に、計測対象物体Ｋの幾何的な非連続部分（段差）が存在しないか否かに応じて、前記或る幾何図形とその近傍に位置する幾何図形とが計測線の組であるか否かを判定するようにしても良い。
具体的には、まず、幾何図形組判定部２１４は、画像にソベルフィルタを適用して画像上からエッジを検出した後、画像上から検出した或る計測線とその近傍に位置する計測線との間にある画像領域におけるエッジ数を算出する。そして、幾何図形組判定部２１４は、例えば、算出したエッジ数が所定数未満であれば２つの計測線の間に段差がないと判定し、これらの２つの計測線は計測線の組であると判定する。また、幾何図形組判定部２１４は、例えば、算出したエッジ数が所定数以上であれば２つの計測線の間に段差があると判定し、これらの２つの計測線は計測線の組ではないと判定する。

また、幾何図形組判定部２１４は、２つの計測線間の画像領域の輝度値のばらつき（例えば輝度値の分散）を計算し、そのばらつきが所定値未満であれば両者は計測線の組と判定し、所定値以上であれば両者は計測線の組ではないと判定しても良い。

また、幾何図形組判定部２１４は、計測対象物体Ｋから取得した距離情報から、２つの計測線間の画像領域にある距離値のばらつき（例えば距離値の分散）を計算し、そのばらつきが所定値未満であれば両者は計測線の組であると判定し、所定値以上であれば両者は計測線の組ではないと判定しても良い。この場合、距離情報は、距離算出部２１６の計算結果を利用しても良いし、別途３次元センサを用意して取得しても良いし、別途撮像装置を追加して、撮像装置２３０とのステレオマッチングによって算出しても良い。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第３の実施形態では、投影パターンの幾何図形として、上述した第１及び第２の実施形態で示した計測線ではなく、その他の幾何図形を利用した幾何図形のバリエーションについて説明する。

上述した第１及び第２の実施形態では、幾何図形として計測線を用いた例について説明を行ったが、計測対象物体Ｋに投影する幾何図形は、画像上で検出及び識別が可能なものであれば計測線でなくても良い。この際、幾何図形として、点を用いても良いし、四角形や三角形の図形を用いても良い。

図７は、本発明の第３の実施形態を示し、計測対象物体に投影する投影パターンの一例を示す図である。
例えば、図７に示すように、幾何図形として点（計測点）７０１を用いて、密な間隔（即ち所定値よりも狭い間隔）で設けられた計測点の組７０２を、前記所定値よりも広い間隔で複数並べて形成された投影パターン７００を利用しても良い。図７に示す投影パターン７００では、組毎に密な面方向が計測できるように、測定点の組における計測点数を３点としている。

画像上で観測される計測点７０１の検出方法に関しては、画像上での幾何特徴の位置が計測できるものであればどのような方法であっても良い。例えば、所定の閾値で２値化した画像の重心を計算することで計測点７０１を検出しても良いし、画像上から円検出を行うことで計測点７０１を検出しても良い。

また、画像上で観測される計測点の組の判定方法に関しては、第１の実施形態で説明した計測線の組の判定方法と同様に、画像上で観測される計測点から、投影パターン７００で計測点の組７０２を判定するものであればどのような方法であっても良い。例えば、画像上で検出した或る計測点とその近傍に位置する計測点との間隔が前記所定値に基づく所定閾値よりも狭いか否かに応じて、これらの計測点が計測点の組であるか否かを判定しても良い。また、別途、投影パターンに計測点の組を判定するための組判定用特徴を与えて当該組判定用特徴に基づいて計測点の組を判定しても良いし、画像上で検出した或る計測点とその近傍に位置する計測点との間に段差があるか否かに応じて計測点の組を判定しても良い。

また、計測点の識別方法に関しては、上述した第１の実施形態で説明した計測線の識別方法と同様に、計測点が識別できるものであればどのような方法でも良い。例えば、画像上で観測される計測点の位置に基づいて、投影パターン７００のエピポーラ線を探索し、当該投影パターン上の計測点の位置とのマッチングを行うことで計測点を識別しても良い。また、例えば、投影パターン上の計測点に複数の色を与えて、画像上で観測される計測点の色の違い基づいて計測点を識別しても良い。また、計測対象物体Ｋの概略位置が分かっている場合、当該概略位置に基づいて、投影装置２２０から投影される計測点が画像上でどの位置に観測されるかを予測し、画像上で観測される計測点に対して、近接する予測位置の幾何図形を求めることで計測点の識別を行っても良い。

さらに、計測点の識別方法としては、幾何図形組判定部２１４による計測点の組の判定結果に基づいて、同一組として判定した計測点が投影パターン７００で同一組となるように解の候補を絞り込んで識別を行っても良い。

なお、本実施形態では、計測点の組における計測点数を３点としたが、２点としても良い。この場合、計測点の組が投影された計測対象物体Ｋの面における面方向を算出する際に、当該計測点の組以外の近傍の計測点を利用して面方向を算出することになるため、面方向の算出精度としては落ちる場合がある。

以上説明したように、計測対象物体Ｋに投影する幾何図形は、画像上で検出及び識別が可能なものであれば、どのようなものであっても良い。

＜実施形態の作用・効果＞
本発明の実施形態によれば、密な間隔（即ち、所定値よりも狭い間隔）で設けられた幾何図形の組を、前記所定値よりも広い間隔で複数並べて形成された投影パターンを計測対象物体に投影して撮影を行うようにしたので、一度の撮影で計測対象物体における複数個所の面の距離と面方向を計測することができる。
さらに、所定値よりも狭い間隔で設けられた幾何図形の組を計測対象物体に投影しているため、各幾何図形に対して面積の小さい面を構成することが可能になる。これにより、計測対象物体における面の面方向を高精度に計測することができる。また、幾何図形を組単位で識別することにより、識別先の解の候補を絞り、識別性能を向上させることができる。これにより、幾何図形の組を追加しても、安定的に幾何図形を識別できるため、計測対象物体における複数個所の面の距離と面方向を安定的に計測することができる。

＜定義＞
本発明において、出力手段で出力する投影パターンは、濃淡パターンでも良いし、カラーパターンでも良い。また、投影パターンの幾何図形は、画像上で検出及び識別が可能な幾何図形であればどのような図形であっても良い。例えば、投影パターンの幾何図形は、線でも良いし点でも良く、また、四角形や三角形の図形等であっても良い。また、本発明における幾何図形の組は、所定値よりも狭い間隔で設けられた幾何図形群を指す。また、幾何図形の組毎の間隔は、前記所定値よりも広い間隔である。

本発明において、取得手段で取得する画像は、投影パターンが計測対象物体に投影された状態で撮像装置により撮像されたものであり、２次元の画像であればどのような画像であっても良い。例えば、濃淡画像でも良いし、カラー画像でも良い。また、画像の取得元は、当該画像を撮像した撮像装置から取得しても良いし、メモリ上に格納された画像から取得しても良いし、ネットワーク上から取得しても良い。

本発明において、検出手段における幾何図形の検出方法は、画像上から幾何図形を検出する方法であれば、どのような方法でも良い。例えば、幾何図形が線である場合、ソベルフィルタによって検出したエッジをラベリングすることで検出しても良いし、所定の閾値で２値化した画像を細線化することで検出しても良い。また、幾何図形が点である場合には、所定の閾値で２値化した画像の重心を計算することで検出しても良いし、画像上から円検出を行うことで検出しても良い。

本発明において、判定手段における幾何図形の組の判定は、画像上で観測される幾何図形から、投影パターンにおいて幾何図形の組となっているものを判定できるものであれば、どのような方法で判定しても良い。例えば、画像上で観測される幾何図形の間隔に基づいて幾何図形の組を判定しても良いし、別途幾何図形にさらに組判定用特徴を含めて、当該組判定用特徴に基づいて幾何図形の組を判定しても良い。この際、組判定用特徴としては、組が判定可能な特徴であれば、どのような特徴でも良い。組判定用特徴として、例えば、幾何図形の色、幾何図形の大きさ、幾何図形の形状及び幾何図形の符号位置のうちの少なくとも１つを適用することができる。この場合、画像上で観測される幾何図形の組判定用特徴が所定の規則に従うか否かに応じて、幾何図形の組を判定する。また、画像上で観測される幾何図形の間にある画像領域に、計測対象物体の幾何的な非連続部分が存在しないか否かに応じて、幾何図形の組を判定しても良い。

本発明において、識別手段における幾何図形の識別方法は、画像上で観測される幾何図形が投影パターンの何れの幾何図形であるかを識別できるものであれば、どのようなものであっても良い。識別に利用する識別情報としては、幾何図形上に付与する識別用特徴を用いても良い。この識別用特徴としては、例えば、幾何図形の色、幾何図形の大きさ、幾何図形の形状及び幾何図形の符号位置のうちの少なくとも１つに基づく特徴を適用することができる。そして、この場合、本発明における識別手段は、この識別用特徴に基づいて画像上で観測される幾何図形の識別を行う。また、本発明における識別手段は、画像上で観測される幾何図形の予測位置に基づいて、画像上で観測される幾何図形の位置に近接する予測位置の幾何図形を計算することで、幾何図形を識別しても良い。

本発明において、距離算出手段は、幾何図形が投影された計測対象物体の面における所定の基準座標からの距離を算出するものであれば、どのような方法で算出しても良い。例えば、距離を算出する方法として、幾何図形が投影された計測対象物体の面の３次元点の位置を算出する方法を用いることができ、この場合、三角測量に基づく方法であればどのような方法でも良い。

本発明において、面方向算出手段は、距離算出手段により算出された距離（判定手段により判定された幾何図形の組の距離）に基づいて、幾何図形の組が投影された計測対象物体の面における面方向を算出するものであれば、どのような方法で算出しても良い。面方向算出手段は、例えば、幾何図形の組の近接する３点の距離に基づいて３角メッシュを構成することで面方向を算出しても良いし、幾何図形の組の各領域内の複数の画素の距離に対して平面フィッティングを行うことで面方向を算出しても良い。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、例えば産業用部品の３次元形状の計測に利用可能である。

２００ 情報処理システム、２１０ 情報処理装置、２１１ 投影パターン出力部、２１２ 画像取得部、２１３ 幾何図形検出部、２１４ 幾何図形組判定部、２１５ 幾何図形識別部、２１６ 距離算出部、２１７ 面方向算出部、２２０ 投影装置、２３０ 撮像装置、Ｋ 計測対象物体

Claims (11)

1. 所定値よりも狭い間隔で設けられた幾何図形の組を、前記所定値よりも広い間隔で複数並べて形成された投影パターンを出力する出力手段と、
   前記投影パターンを計測対象物体に投影した状態で撮像装置により撮像された画像を取得する取得手段と、
   前記画像から前記投影パターンにおける前記幾何図形を検出する検出手段と、
   前記検出手段により検出された幾何図形から、前記幾何図形の組を判定する判定手段と、
   前記検出手段により検出された幾何図形が前記投影パターンの何れの幾何図形であるかを識別する識別手段と、
   前記検出手段により検出された幾何図形における前記画像での位置と、前記識別手段により識別された幾何図形における前記投影パターンでの位置とに基づいて、前記検出手段により検出された幾何図形が投影された前記計測対象物体の面における所定の基準座標からの距離を算出する距離算出手段と、
   前記距離算出手段により算出された距離に基づいて、前記判定手段により判定された幾何図形の組が投影された前記計測対象物体の面における面方向を算出する面方向算出手段と
   を有することを特徴とする情報処理装置。
2. 前記投影パターンの前記幾何図形は、線であることを特徴とする請求項１に記載の情報処理装置。
3. 前記判定手段は、前記検出手段により検出された或る幾何図形とその近傍に位置する幾何図形との間隔が前記所定値に基づく所定閾値よりも狭い間隔であるか否かに応じて、前記或る幾何図形とその近傍に位置する幾何図形とが前記幾何図形の組であるか否かを判定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記投影パターンの前記幾何図形は、前記幾何図形の組を判定するための組判定用特徴を備えており、
   前記判定手段は、前記検出手段により検出された或る幾何図形とその近傍に位置する幾何図形とに備わる前記組判定用特徴が所定の規則に従うか否かに応じて、前記或る幾何図形とその近傍に位置する幾何図形とが前記幾何図形の組であるか否かを判定することを特徴とする請求項１又は２に記載の情報処理装置。
5. 前記組判定用特徴は、幾何図形の色、幾何図形の大きさ、幾何図形の形状および幾何図形の符号位置のうちの少なくとも１つであることを特徴とする請求項４に記載の情報処理装置。
6. 前記判定手段は、前記検出手段により検出された或る幾何図形とその近傍に位置する幾何図形との間にある画像領域に、前記計測対象物体の幾何的な非連続部分が存在しないか否かに応じて、前記或る幾何図形とその近傍に位置する幾何図形とが前記幾何図形の組であるか否かを判定することを特徴とする請求項１又は２に記載の情報処理装置。
7. 前記投影パターンの前記幾何図形は、幾何図形の色、幾何図形の大きさ、幾何図形の形状および幾何図形の符号位置のうちの少なくとも１つに基づく識別用特徴を備えており、
   前記識別手段は、前記識別用特徴、および、前記投影パターンの前記幾何図形が前記画像のどの位置で観測されるかを予測した予測位置のうち少なくとも１つを識別情報とし、当該識別情報に基づいて、前記検出手段により検出された幾何図形が前記投影パターンの何れの幾何図形であるかを識別することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記識別手段は、前記検出手段により検出された幾何図形が前記投影パターンの何れの幾何図形であるかを識別する際に、前記判定手段による前記幾何図形の組の判定結果を用いて、前記識別の対象となる幾何図形を絞り込むことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 請求項１乃至８の何れか１項に記載の情報処理装置と、
   前記投影パターンを前記計測対象物体に投影する投影装置と、
   前記投影装置により前記投影パターンが前記計測対象物体に投影された状態で前記画像を撮像する前記撮像装置と
   を有することを特徴とする情報処理システム。
10. 所定値よりも狭い間隔で設けられた幾何図形の組を、前記所定値よりも広い間隔で複数並べて形成された投影パターンを出力する出力ステップと、
    前記投影パターンを計測対象物体に投影した状態で撮像装置により撮像された画像を取得する取得ステップと、
    前記画像から前記投影パターンにおける前記幾何図形を検出する検出ステップと、
    前記検出ステップにより検出された幾何図形から、前記幾何図形の組を判定する判定ステップと、
    前記検出ステップにより検出された幾何図形が前記投影パターンの何れの幾何図形であるかを識別する識別ステップと、
    前記検出ステップにより検出された幾何図形における前記画像での位置と、前記識別ステップにより識別された幾何図形における前記投影パターンでの位置とに基づいて、前記検出ステップにより検出された幾何図形が投影された前記計測対象物体の面における所定の基準座標からの距離を算出する距離算出ステップと、
    前記距離算出ステップにより算出された距離に基づいて、前記判定ステップにより判定された幾何図形の組が投影された前記計測対象物体の面における面方向を算出する面方向算出ステップと
    を有することを特徴とする情報処理方法。
11. 所定値よりも狭い間隔で設けられた幾何図形の組を、前記所定値よりも広い間隔で複数並べて形成された投影パターンを出力する出力ステップと、
    前記投影パターンを計測対象物体に投影した状態で撮像装置により撮像された画像を取得する取得ステップと、
    前記画像から前記投影パターンにおける前記幾何図形を検出する検出ステップと、
    前記検出ステップにより検出された幾何図形から、前記幾何図形の組を判定する判定ステップと、
    前記検出ステップにより検出された幾何図形が前記投影パターンの何れの幾何図形であるかを識別する識別ステップと、
    前記検出ステップにより検出された幾何図形における前記画像での位置と、前記識別ステップにより識別された幾何図形における前記投影パターンでの位置とに基づいて、前記検出ステップにより検出された幾何図形が投影された前記計測対象物体の面における所定の基準座標からの距離を算出する距離算出ステップと、
    前記距離算出ステップにより算出された距離に基づいて、前記判定ステップにより判定された幾何図形の組が投影された前記計測対象物体の面における面方向を算出する面方向算出ステップと
    をコンピュータに実行させるためのプログラム。

Images