JP4643133B2

JP4643133B2 - パターンフィルター、３次元形状計測装置、３次元形状計測システム、３次元形状計測プログラム、パターンコード生成方法及び３次元形状方法

Info

Publication number: JP4643133B2
Application number: JP2003303426A
Authority: JP
Inventors: 剛丸山; 貴史北口; 康弘佐藤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-08-27
Filing date: 2003-08-27
Publication date: 2011-03-02
Anticipated expiration: 2023-08-27
Also published as: JP2005069987A

Description

本発明は、３次元形状計測に関し、特に３次元形状の画像入力技術に関する。

パターン光を投光することで物体の３次元形状を非接触に計測するスリット光投影法が知れられている。スリット光投影法とは、被写体にスリットパターンを投影し、スリットパターン投影位置とは異なる位置から画像を取得し、三角測量を用いて３次元形状を復元し、生成された３次元形状に、スリットパターン光と同一方向から撮影した画像（テクスチャ画像）を貼付することで３次元画像を得る方法である。

スリット光投影法を用いて３次元形状計測を行う場合、スリット光が投光された部位を、２値化処理などの画像処理を行うことで特定する。このため、３次元形状計測の精度を高めるには、スリットパターンが投光される立体物上の位置を、画像処理により画像上で正確に求めることが要求される。
特開平９−１９６６３２号公報

しかしながら、スリット光が投光された立体物の部位の画像上の位置は、３次元形状の計測に用いるスリット光により誤差を含む場合がある。これは、階調差が細かい複数階調のパターン光が投光される場合に、隣接するスリットパターンの組み合わせによって顕著となることがある。

例えば、隣接する投光スリットパターンの輝度差が大きい組み合わせの場合は、スリット境界部の輝度差は大きく、スリットパターンが画像に投影された際にも被測定物の反射率の影響などを受けにくいため、投影されたスリット部の境界を抽出することは比較的容易である。従って、輝度差の大きいスリット光が投光された場合は、これに基づいて復元される３次元形状においても誤差が生じにくい。

しかし、隣接する投光スリットパターンの輝度差が小さい組み合わせの場合は、スリットパターンが画像に投影された際に被測定物の反射率の影響などを受けやすく、さらにノイズの影響を受け易い。このためスリット部の境界の部分を抽出することは難しく、復元される３次元形状においても多くの誤差が含まれる可能性が高いという問題があった。

本発明は上記問題を鑑みてなされたもので、３次元形状を復元する上で誤差の少ない３次元形状計測方法を提供することができる。

上記問題を解決するために、本発明は、帯状の領域に色分けされたフィルターを通過させたパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測するパターン光のパターンフィルターであって、当該パターンフィルターで投光された投光パターンは、所定の下地色上に形成される複数のスリット光を有し、各スリット光の色と前記下地色から算出された色距離を閾値と比較して、パターン光からスリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる、ことを特徴とする。

請求項１記載の発明によれば、色距離の大きなパターン光を用いて３次元形状を復元することで、誤差の少ない３次元形状計測方法を提供することができる。

また、本発明は、帯状の領域に色分けされたフィルターを通過させたパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測するパターン光のパターンフィルターであって、当該パターンフィルターで投光された投光パターンは、異なる色が隣接した複数のスリット光を有し、隣接した各スリット光の色から算出された色距離を閾値と比較して、パターン光からスリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる、ことを特徴とする。

また、本発明は、濃淡差のある複数の帯状領域を有するフィルターを通過させたパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測するパターン光のパターンフィルターであって、当該パターンフィルターで投光された投光パターンは、異なる濃淡の光が隣接した複数のスリット光を有し、隣接したスリット光の濃淡から算出された濃淡差を閾値と比較して、パターン光からスリット光を抽出する際、第1の閾値と比較して抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる、ことを特徴とする。

また、本発明の一形態において、色距離は、Ｒの大きさ、Ｇの大きさ及びＢの大きさから算出される、ことを特徴とする。

本発明によれば、色及び濃淡の組み合わせに基づいて色距離の大きなスリット光や小さなスリット光を用い３次元形状を計測するので、計測の目的に応じ適切な解像度を指定できる。

また、本発明は、光学的性質の異なる複数のスリット光を有するパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測する３次元形状計測装置であって、前記パターン光は、所定の下地色上に形成される複数のスリット光、異なる色が隣接した複数のスリット光、又は、異なる濃淡の光が隣接した複数のスリット光、を有すると共に、所定の下地色上に形成される複数のスリット光を投光した際には各スリット光の色と前記下地色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、異なる色が隣接した複数のスリット光を投光した際には隣接したスリット光の色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、又は、異なる濃淡の光が隣接した複数のスリット光を投光した際には隣接したスリット光の濃淡から算出された濃淡差を閾値と比較してパターン光からスリット光を抽出し、前記スリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になっている、ことを特徴とする。

本発明によれば、１つの３次元形状計測装置を用い、計測目的に応じ適切な解像度で３次元形状の計測が可能となる。

また、本発明の一形態において、所定の下地色上に形成される複数のスリット光を投光した際には、各スリット光の色及び前記下地色のＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、異なる色が隣接した複数のスリット光を投光した際には、隣接したスリット光それぞれのＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、又は、異なる濃淡の光が隣接した複数のスリット光を投光した際には、隣接したスリット光の濃淡に基づいて前記濃淡差を算出する、ことを特徴とする。

また、本発明は、光学的性質の異なる複数のスリット光を有するパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測する３次元形状計測システムであって、前記パターン光を投光する投光部と、撮像された画像に基づき３次元形状を計測する３次元形状計算装置とを有し、前記投光部は、所定の下地色上に形成される複数のスリット光を投光した際には各スリット光の色と前記下地色から算出された色距離と閾値とを比較してパターン光からスリット光を抽出し、異なる色が隣接した複数のスリット光を投光した際には隣接したスリット光の色から算出された色距離と閾値とを比較してパターン光からスリット光を抽出し、又は、異なる濃淡の光が隣接した複数のスリット光を投光した際には隣接したスリット光の濃淡から算出された濃淡差と閾値とを比較してパターン光からスリット光を抽出し、前記スリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる前記パターン光を投光し、前記３次元形状計算装置は、所定の下地色上に形成される複数のスリット光を投光した際には、各スリット光の色及び前記下地色のＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、異なる色が隣接した複数のスリット光を投光した際には、隣接したスリット光それぞれのＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、又は、異なる濃淡の光が隣接した複数のスリット光を投光した際には、隣接したスリット光の濃淡に基づいて前記濃淡差を算出し、前記閾値以上の前記色距離又は前記濃淡差を示すスリット光を抽出するスリット光抽出手段と、前記スリット光抽出手段により抽出されたスリット光に基づき３次元形状を計測する３次元形状計測手段とを有する、ことを特徴とする。

本発明によれば、１つの３次元形状計測システムを用い、計測目的に応じ適切な解像度で３次元形状の計測が可能となる。

また、本発明の一形態において、３次元形状計算装置は、３次元形状計測手段により計測された３次元形状に基づき、立体物の部位の形状を判別する部位形状判別手段を有し、前記スリット光抽出手段は、部位形状判別手段により判別された立体物の部位の形状に基づき前記閾値を変更する、ことを特徴とする。

３次元形状を計測する上で誤差の少ない投光スリットパターンを用い３次元形状計測方法を提供することができる。

本発明は、３次元形状を計測するためのパターン光のパターンコードにおいて、輝度差が大きいスリット光（誤差が少ないスリット光）を等間隔に配置するパターンコードを投光する。このパターン光に基づき閾値処理を行うことで、輝度差が大きい部分のみを抽出すれば、画像上の立体物の部位の位置を正確に求めることができる。

また、パターン光が投光されたスリット全てを用いて３次元形状を復元すれば、分解能の高い画像が得ることができる。以下、添付された図面を参照しながら本発明の実施の形体について説明する。

図１に本発明の一実施形態に係るパターンフィルターを示す。図１のパターンフィルター１は、ガラス板に、白105、赤106、黄107、緑108、マゼンダ109、青110、のスリットが形成されており、その他の領域は下地の色として黒111の塗料が塗布されている。なお、パターンフィルターは、ガラス板と塗料の組み合わせでなくとも、通過する光の色を任意に指定できるものであればよい。

また、各色の下に記載された番号は、ＲＧＢ表現色を用いて各色を２階調の数値で表現したものである。従って、ＲＧＢ表色系を（Ｒ、Ｇ、Ｂ）の形式で表現すると、白１０５は（１１１）、赤１０６は（１００）、黄１０７は（１１０）、緑１０８は（０１０）、マゼンダ１０９は（１０１）、青１１０は（０１１）、黒１１１は（０００）と定義される。２階調と限定したので括弧内の各数字は１又は０となる。

続いて、誤差の少ないスリット境界部を検出する方法を説明する。誤差の少ない境界部を、隣接するスリットの色の相違が明確であるものと捉え、色の相違の程度を「色距離」と定義する。ここで色距離とは、ＲＧＢそれぞれの成分の差を２乗したものを足し合わせて平方根を取ったものとする。隣り合う２地点のＲＧＢ値をそれぞれ(R₁, G₁, B₁ )、(R₂, G₂, B₂ )とした時の色距離は、

と表される。そして色距離がある閾値を超えた部分がスリットパターンの境界となる。閾値は、計測する３次元形状の解像度に合わせ設定でき、また、自動的に設定されてもよい。

例えば、白１０５（１１１）と赤１０６（１００）の色距離は、√｛（１−１）^２＋（１−０）^２＋（１−０）^２｝＝√２、となる。この場合、設定された閾値が√２よりも小さければ、白１０５（１１１）と赤１０６（１００）は２本の光線としてそれぞれの光線に基づき３次元形状が計測される。設定された閾値が√２よりも大きければ、白１０５（１１１）と赤１０６（１００）の境界が、３次元形状の計測に用いられない。なお、本実施例では、下地が黒１１１（０００）であるため、スリット境界の判定は、全て黒１１１（０００）との間で算出された色距離に基づいて行われる。

従って、誤差の少ない境界のみを用いて３次元形状を計測する場合には閾値を高く設定し、高解像度の３次元形状を計測する場合には閾値を低く設定する。

閾値に応じて、３次元形状計測装置に計測モードを設定してもよい。図２は、高精細、精細、普通、速、高速の５種類のモードから成り立つシステムの仕様を示す図である。計測速度が早ければ計測点数が少なく、計測速度が遅ければ計測点数が多くなる関係があることが分かる。本実施例では、適当な３次元形状が得られる計測点数のうち、最も計測点数を多く取る場合を高精細モード、最も計測点数が少ない場合を高速モードと呼ぶ。図２の双方向矢印はその表の位置の中間程度の値であることを意味する。

続いて３次元形状を復元する方法を説明する。図３は、図１のスリットパターンを用いて三次元形状計測を行う方法を示すフローチャート図である。

まず、図１のスリットパターン光を投影して、画像の撮影を行う（Ｔ１）。続いて図２の計測モードを選択する。本実施例では、高精細モードではすべてのスリット境界を、普通モードでは色距離√２以上のスリット境界を、高速モードは色距離√３以上のスリット境界を検出するものとする。

図３のフローチャートでは、例として普通モードを実行する（Ｔ２）。従って、本実施例の３次元形状計測装置は、色距離√２以上のスリット境界を検出する。背景（下地）色が黒１１１（０００）であることから、抽出される色は、式（１）に従って、白１０５、黄１０７、マゼンダ１０９の３種類となる（Ｔ３）。

白１０５、黄１０７、マゼンダ１０９の３つのスリットは、これを１組としてパターンフィルター１上に等間隔に配置されている。従って、白１０５、黄１０７、マゼンダ１０９の３つのスリットは、√２以上の色距離を有するスリット光のパターンとであり、本発明では等間隔に配置される当該スリット光のパターンに基づいて３次元形状を計測する。複数のスリット光を１つのスリット光のパターンとみなすと、例えば閾値√２以上のスリット光のパターンという形で解像度が設定でき、複数のスリット光を１つのパターンとして３次元形状の計測に用いることができる。

スリット光が抽出されたら、得られた３つのスリット光に基づき、スリット光投影法などの既存の３次元形状復元手段を用いて３次元座標を獲得する（Ｔ４）。

なお、色距離の算出には、隣接する濃淡差や、色差を表現する方法、輝度差を用いる方法、Ｌ＊ａ＊ｂ＊表色系の色差を用いる方法など様々な方法のいずれの手法を用いてもよい。

以上から、高速かつ正確に３次元形状を計測する場合には閾値の大きい境界の明確なスリット光のみを用いて計測し、高解像度の３次元形状を計測する場合には、閾値の小さい境界が若干不明確な境界を含むスリット光を用いて計測することが可能となる。

また、色距離パターンごとの計測精度に基づきこれを等間隔に配置しているので、計測速度を速くしたときには、閾値を大きく設定することで計測精度の高いパターンを中心に形状を得ることができる。そのため、スリット光の精度に基づかず一律に計測点数を減らす方法よりも、画質の劣化を最小限に抑え計測速度を早くすることができる。

更に、同一被測定物に対して異なる解像度の三次元画像を得る場合、従来、複数のスリットパターンと複数の撮影画像を用いる必要があったが、本発明を用いることにより、一つのスリットパターンを用い一回の撮影で、異なる解像度の３次元画像を得ることができる。

なお、本発明ではパターン光が通過するパターンフィルターにおいて、開口部があってもよいし、開口部が無く光が通過するように色分けだけされていてもよい。従って、スリット口という場合は、色分けされた部分又は開口部により光が通過する部分をいう。

第１実施例では、黒地に各色が配置されたフィルターを用いたが、本実施例では下地のないフィルターを用いたパターン光について説明する。

図４（ａ）は、本実施例で用いるフィルターを示す図である。図４のフィルター３は、ガラス板に、黒１０１、白１０２、赤１０３、シアン１０４の塗料が塗布されている。またフィルター３は、ガラス板と塗料の組み合わせでなくとも、通過する光の色を任意に指定できるものであればよい。

第１実施例と同様に、各色を２階調のＲＧＢ表色系を用いて、（Ｒ、Ｇ、Ｂ）成分の順に、黒１０１を（０００）、白１０２を（１１１）、赤１０３を（１００）、シアン１０４を（０１１）と定義する。また、第１実施例と同様に式（１）により各帯状領域間の色距離を算出する。図４（ｂ）は、図４（ａ）のパターンフィルターにおける色距離の算出結果に基づいて、境界を強調したパターンフィルターの図を示す。図４（ｃ）は、図４（ｂ）のパターン光における各境界の色距離を示す図である。図４（ｂ）のパターン光において、太線１１で記された境界は√３の色距離を、細線１２で記された境界は√２の色距離を示している。従って、太線１１で記された、黒１０１と白１０２の境界及び赤１０３とシアン１０４の境界で１つのスリット光のパターンとなる。同様に、細線１２で記された、白１０２と赤１０３の境界及びシアン１０４と黒１０１の境界で１つのスリット光のパターンとなる
図４（ｂ）において、太線１１で記された部分では、帯状領域の境界部分で、式（１）に基づく色変化が急激に起こっている。このため、図４（ａ）のようなスリットパターンを用いて投光を行う場合、色距離が√３の部分が投影された画像上の部分は、ノイズなどの影響を受けにくく、精度良く境界を検出することができる。

図４（ｂ）において、細線１２で標示された境界は、色距離が√３未満であるため、太線の部分と比較して境界が不明瞭となる。従って、高速かつ正確に３次元形状を計測する場合には境界の明確なスリット光のみを用いて計測し、高解像度の３次元形状を計測する場合には、境界が若干不明確な境界を含むスリット光を用いて計測することが可能となる。

続いて、本実施例における三次元形状計測の流れを説明する。図５は、図４（ａ）のスリットパターンを用いて三次元形状計測を行う方法を示すフローチャート図である。

まず、図２で説明したモード選択を行う（Ｓ１）。本実施例では高精細モードと高速モードの２つのモードを有する場合を示す。次に、図４（ａ）のスリットパターンを用いて被測定物に対してパターン投光を行い、その様子を撮影する（Ｓ２）。３次元形状計測装置は、ステップ１で選択された計測モードを参照し（Ｓ３）、計測モードが高精細モードであれば、照射されたパターン光から全ての境界を検出する（Ｓ４）。また高精細モードでないときは、図４（ｃ）で示された色距離が√３の境界のみを画像から検出する（Ｓ５）。最後にスリット光投影法などの既存の３次元形状復元手段を用いて得られたエッジ情報から３次元座標を獲得する（Ｓ６）。

本実施例によれば、１つの３次元形状計測装置を用いて、目的に応じ解像度を選択できる。

また、下地部分がある第１実施例のパターンフィルターよりもスリット境界が少なくなるので高速に３次元形状を算出できる。

第１実施例及び第２実施例では、各色２階調のＲＧＢ表現色を有するパターン光の色に基づき境界を検出したが、第３実施例では、階調（濃淡）の相違に基づいて、境界を検出する方法について説明する。

図６は、各帯状色分け領域が１１階調の濃淡を有するフィルターの一例を示す。図６のパターンフィルター５は、ガラス板に、スリット１３０、スリット１３１、スリット１３２、スリット１３３の塗料を塗布されている。またパターンフィルターは、ガラス板と塗料の組み合わせでなくとも、通過する光の色を任意に指定できるものであればよい。

各色を１１階調のＲＧＢ表色系を用いて、スリット１３０を濃度０、スリット１３１を濃度２、スリット１３２を濃度８、スリット１３３を濃度１０とする。帯状領域の色は同系色であっても良いし、別系統の色であってもよい。なお、図６のパターンフィルター５の上側に記されている“○”は所定の濃淡差を有する境界を表す。

本実施例では、濃淡差を濃度の差で定義する。濃淡差を濃度の差で定義すると、濃淡差が１０の境界部はスリット１３３とスリット１３０の境界部であるので図６のパターンフィルターでは計２つの境界部が抽出される。スリット１３３とスリット１３０の境界部は、等間隔に、境界部３つ置きに配置されている。

また、濃淡差８以上の境界部は、スリット１３３とスリット１３０の境界部と、スリット１３２とスリット１３１、スリット１３１とスリット１３０の境界部が該当する。図６のパターンフィルターでは計６つの境界部が抽出される。

従って、図６では、濃淡差１０のスリット光のパターン、濃淡差８以上のスリット光のパターンが等間隔角に配置されている。

濃淡差１０と濃淡差８以上の閾値を設定することで、２つの異なる解像度で３次元形状を計測でき、これに、全ての境界部を計測に用いる濃淡差７以下の場合を加えると、計三段階の解像度で３次元形状を計測できる。

以上により、パターン光の濃淡差に基づき３次元形状を計測するうえで解像度を調整できる。また、フィルターを構成するスリットの濃淡差を変え、更に詳細な解像度の調整を行ってもよい。

第３実施例では、濃淡差に基づいて境界部を検出したが、本実施例では各色５階調のＲＧＢ表現色でパターン光を表現する。これにより、色だけでなく、色（ＲＧＢ）と階調（濃淡）の違いを同時に考慮した境界の検出を可能とする。

図７は、本発明の一実施形態に係る濃淡と色の組み合わせによるスリットパターンの例を示す。図７のパターンフィルターは、ガラス板に、白112、薄赤113、薄黄114、緑115、マゼンダ116、青117、黒118の塗料が塗布されている。パターンフィルターは、ガラス板と塗料の組み合わせでなくとも、通過する光の色を任意に指定できるものであればよい。

本実施例では各色を５階調のＲＧＢ表色系を用いて、白１１２を（４４４）、薄赤１１３を（２００）、薄黄１１４を（３３０）、緑１１５を（０４０）、マゼンダ１１６を（４０４）、青１１７を（００３）、黒１１８を（０００）と定義する。５階調であるため、括弧内の数値は０から４の値を取る。

まず、Ｇ成分のみの色距離を用いて集合分けを行う。Ｇ成分のみの色距離は、式（１）に基づき算出しても良いが、簡単には隣接する色同士のＧ成分を減算した際の絶対値で表される。例えば、下地である黒１１８（０００）と白１１２（４４４）のＧ成分のみの色距離は、｜０−４｜＝４である。

従って、Ｇ成分のみに着目し、下地である黒１１８（０００）との色距離が４以上である色分けされた帯状領域を算出すると、白１１２（４４４）と緑１１５（０４０）が抽出される。図７を見ると、白１１２と緑１１５からなるスリット光のパターンは帯状領域２つおきに等間隔に配置されている。

続いて、色成分全体に基づいて、色距離が３√２以上の色分けされた帯状領域を抽出する。下地である黒１１８（０００）との色距離３√２以上である色分けされた帯状領域を算出すると、白１１２、薄黄１１４、マゼンダ１１６が抽出される。図７を見ると、白１１２、薄黄１１４、マゼンダ１１６はからなるスリット光のパターンは、帯状領域１つおきに等間隔に現出する。

従って、本実施例では、閾値の算出方法及び閾値を設定することで、色分けされた帯状領域を等間隔に抽出できる。抽出された帯状領域に基づいて３次元形状を計測すれば、解像度の異なる３次元形状が計測される。

本実施例では、帯状領域２つおき、帯状領域１つおき及び全ての帯状領域に基づいて３次元形状を計測することが可能であるので、閾値の算出方法及び閾値を変化させることによって三段階の調整を可能とする。ＲＧＢ表色系の階調を増やし更に詳細に解像度を調整してもよい。

本実施例では、これまでの実施例を応用して、被写体の部位ごとに解像度を調整し、被写体全体の３次元形状を計測する方法を説明する。

本実施例は被写体の部位の形状に応じ、高速モードと高精細モードを使い分ける。高速モードは、平面のような単調な部分には適するが、立方体の角など、直角に変化している部分などに対しては、計測に用いるパターン光の間隔が広いため、誤差を含みやすい。一方、高精細モードは、計測に要する時間は高速モードより長いが、計測に用いるパターン光の間隔が狭いので、直角を表現するのに適している。このように複数の計測モードを同一被測定物に対して施すことで、計測時間を抑えながら適切な解像度で三次元形状を計測する。

図８（ａ）は、本発明の一実施形態に係るスリットパターンを示す。図８（ａ）のパターンフィルターは、下地として黒の塗料が塗布された透明板に２種類のスリット、スリット１４０とスリット１４１を有する。スリット１４０は、下地黒との式（１）で計算される色距離がα以上、スリット１４１はα未満とする。

図８（ｂ）は、被写体である立方体１１９を示す。説明のため立方体１１９の正面に面番号Ａを付している。図８（ｃ）は、図８（ａ）のパターンフィルターにより形成されたパターン光が立方体１１９に投光された様子を示す。図８（ｄ）は、閾値に基づいてスリット１４０のみを用いて立方体１１９の形状を計測する図を示す。

以下、図８（ａ）のスリットを用いて、図８（ｂ）の立方体１１９にパターン光が投光された画像に基づき、３次元形状を計測する方法をフローチャートに沿って説明する。図９は、図８（ａ）のパターンフィルターにより形成されたパターン光を投光して立方体１１９の形状を計測するフローチャート図を示す。

まず、パターン光が投光された立方体１１９を、斜め上方から撮影する（Ｕ１）。このとき撮影される画像は図８（ｃ）のようになる。

ステップＵ１で撮像された画像に基づき、色距離がα以上の境界を抽出する。閾値として色距離αを設定したため、高速モードで３次元形状が計測される。これにより、図８（ｄ）のようにスリット１４０が形成する境界のみが抽出される（Ｕ２）。

ステップＵ２で抽出されたスリット光から得られる画像に基づき、三角測量法などの既存の三次元形状復元手段を用いて立方体１１９の三次元形状を求める（Ｕ３）。

高速モードの下、３次元形状が得られたので、該３次元形状を形成する三次元データを検索し、立方体１１９うち形状が複雑な部位を求める。本実施例では、立方体を形成する面と面の境である角を含む領域を検出する。例えば、立方体を平行に走査している複数のスリット光１４０のうち、各スリット光１４０が立方体１１９上で形成する高さを比較し、閾値以上となる高低差が存在するスリット光１４０を求める（Ｕ４）。この閾値は、あらかじめ定めてある閾値でも良いし、撮影前後に定めても良い。

図８（ｄ）において、閾値以上となる高低差が存在するスリット光１４０が投光されている被写体１１９の領域を検出する。投影スリット２００と投影スリット２０１、投影スリット２０１と投影スリット２０２は、立方体での同一平面Ａに投影されているので高低差は少ない。投影スリット２０２と投影スリット２０３は、投影スリット２０２が平面Ａ上に、投影スリット２０３が平面Ａの右側面の平面に投影されているため、閾値以上の高さの差を持つ。このため、投影スリット２０２と投影スリット２０３にはさまれた範囲１２１が、立方体を形成する面と面の境である角を含む領域として選択される。

続いて、ステップＵ４により検出された範囲１２１に対し、スリット１４１を含めて３次元形状を計測する。ステップＵ１で撮像された画像うち、スリット１４１が照射されている境界に基づき、新たに３次元形状を計測し（Ｕ５）、ステップＵ３で得られた３次元座標に新たな三次元座標を追加する（Ｕ６）。

従って、範囲１２１は、高精細モードに対応する高解像度で３次元形状が計測されたことになる。なお、高精細に３次元形状を計測する範囲を任意に選択してもよい。また、画像データは保存されているので、高精細に３次元形状を計測する範囲の選択は、撮影前、撮影後、高速モード終了後など任意のタイミングで行ってよい。また本実施例とは逆に、選択した範囲１２１のみ高速モードで処理を行うような設定にしてもよい。

以上で、高速な手法と高解像度な手法を効率的に併用し、１回の撮像で計測時間を抑えながら適切な解像度で三次元形状が計測された。

本実施例によれば、立方体などの平面が組み合わさってできているような被写体を撮影した場合、平面部に関しては高速な手法、面と面の継ぎ目の部分に関してはより形状変化が抽出できるように多くの計測点を得る手法、と両手法を併用し、より高速かつ高精度な３次元形状を得ることを可能とする。

〔３次元画像計測システム及び３次元画像計測プログラム〕
図１０は、３次元画像計測システムの構成図を示す。図１０の３次元画像計測システムは、画像の保存や画像処理を行うコンピュータシステム２１、画像の撮像素子を内蔵した撮像装置２２、被写体の一例である立体物２３、これまで実施例を通して説明してきた色分けされたパターンフィルター２４、パターンフィルターの光源２５を有する。

図１０の３次元形状計測システムでは、パターンフィルター２４が形成するパターンが投光された立体物２３が撮像装置１１で撮像される。パターンフィルター２４は、上記実施例で説明した図１、図４、図６又は図７のようなパターンフィルターが用いられる。撮像装置２２で撮像された画像は、コンピュータシステム２１に保存され、上記実施例で説明したように、色、濃淡などに基づいて算出される色距離を閾値として、撮影の目的合わせたスリット光が抽出され、３次元形状を復元する。

図１１は、本実施例で用いた３次元画像計測を行うためのプログラムが実行されるコンピュータの一例を示す。該コンピュータは、コンピュータを構成する機能を総合的に制御し統括する主制御部３１、プログラムやデータを一時的に保存する主記憶装置部３２、プログラムやデータを保存しておく記憶装置３３、インターネット、ＬＡＮ（ローカルエリアネットワーク）などとの通信を制御する通信部３４、キーボードなどの入出力装置からの入力や表示装置への出力を制御する入出力制御部３５、を有する。

そして、当該コンピュータは、３次元画像計測を行うためのプログラムである３次元画像計測プログラム４０として、パターン光が投影された画像から立体形状の３次元データを求める３次元データ生成手段４１、式（１）に基づき色距離を計算する色距離計算手段４２、設定された閾値を満たす複数のスリット光を抽出して３次元形状の計測に提供するスリット光抽出手段４３、を有する。

３次元画像計測プログラム４０は、本プログラムが実行される際に主記憶装置３２にロードされ、コンピュータに実行される。

本実施例により、１つの３次元形状計測装置で、計測目的に応じた種々の解像度を設定できる３次元形状計算装置、及び、３次元形状計測プログラムが提供できる。

下地色のあるパターンフィルターの一例である。３次元形状計測装置の計測モードの一例を示す図である。３次元形状計測のフローチャート図の一例である。（ａ）下地色のないパターンフィルターの一例である。（ｂ）ある閾値における明瞭な境界点と不明瞭な境界を示す図である。（ｃ）境界の色距離を示す図である。計測モードを選択して３次元形状計測を行うフローチャート図の一例である。濃淡に基づく色距離により境界を抽出するパターンフィルターの一例を示す図である。濃淡と色の組み合わせによる境界を抽出するパターンフィルターの一例を示す図である。（ａ）２種類のスリット口を有するパターンフィルターの一例を示す図である。（ｂ）被写体である立方体を示す図である。（ｃ）パターン光が投光された立方体の一例を示す図である。（ｄ）ある閾値以上の境界を持つスリット光が投光された立方体の一例を示す図である。被写体の計測部位ごとに解像度を調整して３次元形状計測を行うフローチャート図の一例である。３次元形状計測システムの構成を示す一例である。３次元形状計測プログラムを実行するコンピュータの機能ブロックの一例を示す図である。

符号の説明

１，５，７，９パターンフィルター
１１太線
１２細線
２１コンピュータシステム
２２撮像装置
２３被写体
２４パターンフィルター
２５光源
４０３次元画像生成プログラム
１０５白色スリット口
１０６赤色スリット口
１０７黄色スリット口
１０８緑色スリット口
１０９マゼンダ色スリット口
１１０青色スリット口
１１９立方体
１２１範囲

Claims

帯状の領域に色分けされたフィルターを通過させたパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測するパターン光のパターンフィルターであって、
当該パターンフィルターで投光された投光パターンは、所定の下地色上に形成される複数のスリット光を有し、
各スリット光の色と前記下地色から算出された色距離を閾値と比較して、パターン光からスリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる、
ことを特徴とするパターンフィルター。
帯状の領域に色分けされたフィルターを通過させたパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測するパターン光のパターンフィルターであって、
当該パターンフィルターで投光された投光パターンは、異なる色が隣接した複数のスリット光を有し、
隣接した各スリット光の色から算出された色距離を閾値と比較して、パターン光からスリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる、
ことを特徴とするパターンフィルター。
濃淡差のある複数の帯状領域を有するフィルターを通過させたパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測するパターン光のパターンフィルターであって、
当該パターンフィルターで投光された投光パターンは、異なる濃淡の光が隣接した複数のスリット光を有し、
隣接したスリット光の濃淡から算出された濃淡差を閾値と比較して、パターン光からスリット光を抽出する際、第1の閾値と比較して抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる、
ことを特徴とするパターンフィルター。
前記色距離は、Ｒの大きさ、Ｇの大きさ及びＢの大きさから算出される、ことを特徴とする請求項１又は２記載のパターンフィルター。
光学的性質の異なる複数のスリット光を有するパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測する３次元形状計測装置であって、
前記パターン光は、
所定の下地色上に形成される複数のスリット光、異なる色が隣接した複数のスリット光、又は、異なる濃淡の光が隣接した複数のスリット光、を有すると共に、
所定の下地色上に形成される複数のスリット光を投光した際には各スリット光の色と前記下地色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、
異なる色が隣接した複数のスリット光を投光した際には隣接したスリット光の色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には隣接したスリット光の濃淡から算出された濃淡差を閾値と比較してパターン光からスリット光を抽出し、
前記スリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になっている、
ことを特徴とする３次元形状計測装置。
所定の下地色上に形成される複数のスリット光を投光した際には、各スリット光の色及び前記下地色のＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、
異なる色が隣接した複数のスリット光を投光した際には、隣接したスリット光それぞれのＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には、隣接したスリット光の濃淡に基づいて前記濃淡差を算出する、
ことを特徴とする請求項５記載の３次元形状計測装置。
光学的性質の異なる複数のスリット光を有するパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測する３次元形状計測システムであって、
前記パターン光を投光する投光部と、撮像された画像に基づき３次元形状を計測する３次元形状計算装置とを有し、
前記投光部は、
所定の下地色上に形成される複数のスリット光、異なる色が隣接した複数のスリット光、又は、異なる濃淡の光が隣接した複数のスリット光、を有すると共に、
所定の下地色上に形成される複数のスリット光を投光した際には各スリット光の色と前記下地色から算出された色距離と閾値とを比較してパターン光からスリット光を抽出し、
異なる色が隣接した複数のスリット光を投光した際には隣接したスリット光の色から算出された色距離と閾値とを比較してパターン光からスリット光を抽出し、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には隣接したスリット光の濃淡から算出された濃淡差と閾値とを比較してパターン光からスリット光を抽出し、
前記スリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる前記パターン光を投光し、
前記３次元形状計算装置は、
所定の下地色上に形成される複数のスリット光を投光した際には、各スリット光の色及び前記下地色のＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、
異なる色が隣接した複数のスリット光を投光した際には、隣接したスリット光それぞれのＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には、隣接したスリット光の濃淡に基づいて前記濃淡差を算出し、
前記閾値以上の前記色距離又は前記濃淡差を示すスリット光を抽出するスリット光抽出手段と、
前記スリット光抽出手段により抽出されたスリット光に基づき３次元形状を計測する３次元形状計測手段とを有する、
ことを特徴とする３次元形状計測システム。
前記３次元形状計算装置は、
前記３次元形状計測手段により計測された３次元形状に基づき、前記立体物の部位の形状を判別する部位形状判別手段を有し、
前記スリット光抽出手段は、
前記部位形状判別手段により判別された立体物の部位の形状に基づき前記閾値を変更する、
ことを特徴とする請求項７記載の３次元形状計測システム。
光学的性質の異なるスリット光を有するパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測するプログラムをコンピュータに実行させる３次元形状計測プログラムであって、
所定の下地色上に形成される複数のスリット光、異なる色が隣接した複数のスリット光、又は、異なる濃淡の光が隣接した複数のスリット光、を有すると共に、
所定の下地色上に形成される複数のスリット光を投光した際には各スリット光の色と前記下地色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、
異なる色が隣接した複数のスリット光を投光した際には隣接したスリット光の色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には隣接したスリット光の濃淡から算出された濃淡差を閾値と比較してパターン光からスリット光を抽出し、
前記スリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる前記パターン光、から、
所定の下地色上に形成される複数のスリット光を投光した際には、各スリット光の色及び前記下地色のＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、
異なる色が隣接した複数のスリット光を投光した際には、隣接したスリット光それぞれのＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には、隣接したスリット光の濃淡に基づいて前記濃淡差を算出する、色距離算出ステップと、
前記色距離算出ステップにより算出された前記色距離又は前記濃淡差から、前記閾値以上の前記色距離又は前記濃淡差を示すスリット光を抽出するスリット光抽出ステップと、
スリット光に基づき３次元形状を計測する３次元形状計測ステップと、
をコンピュータに実行させる３次元形状計測プログラム。
光学的性質の異なる複数のスリット光を有するパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測するパターン光のパターンコード生成方法であって、
所定の下地色上に形成される複数のスリット光、異なる色が隣接した複数のスリット光、又は、異なる濃淡の光が隣接した複数のスリット光、を有すると共に、
所定の下地色上に形成される複数のスリット光を投光した際には各スリット光の色と前記下地色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、
異なる色が隣接した複数のスリット光を投光した際には隣接したスリット光の色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には隣接したスリット光の濃淡から算出された濃淡差を閾値と比較してパターン光からスリット光を抽出し、
前記スリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる、前記パターン光が投光されるパターンコードを生成する、
ことを特徴とするパターンコード生成方法。
所定の下地色上に形成される複数のスリット光を投光した際には、各スリット光の色及び前記下地色のＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離が算出され、
異なる色が隣接した複数のスリット光を投光した際には、隣接したスリット光それぞれのＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離が算出され、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には、隣接したスリット光の濃淡に基づいて前記濃淡差が算出される、
ことを特徴とする請求項１０記載のパターンコード生成方法。
光学的性質の異なるスリット光を有するパターン光が投光された立体物を撮像し、それによって得た画像から３次元形状を計測する３次元形状計測方法であって、
所定の下地色上に形成される複数のスリット光、異なる色が隣接した複数のスリット光、又は、異なる濃淡の光が隣接した複数のスリット光、を有すると共に、
所定の下地色上に形成される複数のスリット光を投光した際には各スリット光の色と前記下地色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、
異なる色が隣接した複数のスリット光を投光した際には隣接したスリット光の色から算出された色距離を閾値と比較してパターン光からスリット光を抽出し、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には隣接したスリット光の濃淡から算出された濃淡差を閾値と比較してパターン光からスリット光を抽出し、
前記スリット光を抽出する際、第1の閾値で抽出されたスリット光の間隔が等間隔Ｄ１になり、第２の閾値で抽出されたスリット光の間隔が等間隔Ｄ２（≠Ｄ１）になる、前記パターン光を投光する投光ステップと、
所定の下地色上に形成される複数のスリット光を投光した際には、各スリット光の色及び前記下地色のＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、
異なる色が隣接した複数のスリット光を投光した際には、隣接したスリット光それぞれのＲの大きさ、Ｇの大きさ及びＢの大きさに基づいて前記色距離を算出し、又は
異なる濃淡の光が隣接した複数のスリット光を投光した際には、隣接したスリット光の濃淡に基づいて前記濃淡差を算出する、色距離算出ステップと、
前記色距離算出ステップにより算出された前記色距離又は前記濃淡差から、前記閾値以上の前記色距離又は前記濃淡差を示すスリット光を抽出するスリット光抽出ステップと、
前記スリット光抽出ステップにより抽出されたスリット光に基づき３次元形状を計測する３次元形状計測ステップと、
を有することを特徴とする３次元形状計測方法。