JP5517829B2

JP5517829B2 - 三次元計測装置及び三次元計測方法

Info

Publication number: JP5517829B2
Application number: JP2010183683A
Authority: JP
Inventors: 伸明 ▲桑▼原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-08-19
Filing date: 2010-08-19
Publication date: 2014-06-11
Anticipated expiration: 2030-08-19
Also published as: JP2012042332A

Description

本発明は、三次元計測装置及び三次元計測方法に関し、特に、計測対象に光を投射して当該計測対象の三次元形状を計測するために用いて好適なものである。

計測対象の三次元計測を行う方式として、一般的に、光切断法や、空間符号化法等が知られている。
光切断法では、まず、計測対象にレーザスリット光を当て、レーザスリット光を反射している計測対象の位置を撮像装置で撮像する。そして、レーザスリット光の照射角度と撮像装置の結像位置との対応を求め、その結果に基づいて、三角測量の原理で計測対象の三次元情報を復元する。しかし、光切断法では、一般的にレーザスリット光を走査しながら撮像するため、密な三次元計測を行うには時間がかかる。

空間符号化法は、光切断法における問題（レーザスリット光の走査に時間を要する問題）に対して、２次元のパターンを有する光を投射可能なプロジェクタを用いることで、プロジェクタと撮像装置との対応を効率的に求めて、三次元計測をする手法である。空間符号化では、一般的にグレイコードを投射して空間を分割する。グレイコードは空間をＮ分割するのに（logＮ）回撮像すればよいので光切断法よりも高速に撮像できる。しかし、空間符号化では、撮像素子の分解能や、物体の形状によって、パターンを認識しにくくなる場合があり、計測精度が落ちてしまう問題があった。そこで、特許文献１記載の手法では、グレイコード等の空間符号化パターンで空間を粗に分割し、より密に空間を分割する場合には、複数のスリット光を計測対象に投射することにより、計測精度を向上させている。

特開２００５−３４０９号公報

しかしながら、以上のような、空間符号化パターンと複数のスリット光パターンとの投射を組み合わせた三次元計測装置では、スリット光を投射するため、パターンの光量が減少してしまい、ノイズが増大してしまうという問題点があった。
本発明は、このような問題点に鑑みてなされたものであり、計測対象に光を投射して当該計測対象の三次元形状を計測するに際し、当該計測対象の信号に発生するノイズを低減し、当該計測対象の三次元形状の計測精度を向上することを目的とする。

本発明の三次元計測装置は、光強度の分布を有する複数の投影パターンの光を計測対象に投影する投影手段と、前記投影手段による光の投影方向と異なる方向から、前記投影パターンが投影された計測対象を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、前記計測対象の三次元形状を算出する三次元形状算出手段と、を有し、前記投影手段は、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンを前記計測対象に投影することを特徴とする。

本発明によれば、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンを計測対象に投影するようにしたので、当該計測対象の信号に発生するノイズを低減し、当該計測対象の三次元形状の計測精度を向上することができる。

三次元計測装置の構成を示す図である。従来のパターンを示す図である。本実施形態のパターンの一例を示す図である。アダマール符号を用いたパターンを削減できることを説明する図である。図２（ｃ）に示すパターンを投射して得られた撮像画像の輝度の真値と実際値を示す図である。図３（ｂ）に示すパターンを投射して得られた撮像画像の輝度の実際値と推定値を示す図である。三次元計測装置の処理の流れを説明するフローチャートである。

図１は、本実施の形態に係る三次元計測装置の構成の一例を示す図である。
三次元計測装置は、光学系１０１、投影部１０２、撮像素子１０３、露光タイミング制御部１０４、投影パターン制御部１０５、制御部１０６、記憶部１０７、パターン認識部１０８、及び三次元形状算出部１０９を備えて構成される。また、１１０は計測対象である。
次に、三次元計測装置の各部位についての詳細な説明を行う。
光学系１０１は、計測対象１１０で一部反射された光を撮像素子１０３へ導くものである。
投影部１０２は、例えば、レーザープロジェクタや液晶プロジェクタであり、光強度の異なるパターン（投影パターン）を計測対象１１０に投影（投射）可能な装置である。投影部１０２は、投影パターン制御部１０５から入力される投影パターンの情報に基づいて、パターンを投影する。投影部１０２を用いて投影されるパターンについての詳細は後述する。
撮像素子１０３は、光学系１０１を用いて導かれた像を記憶部１０７に出力する。撮像素子１０３は、投影部１０２によるパターンの投影方向と異なる方向から計測対象１１０を撮像する。

露光タイミング制御部１０４は、制御部１０６から入力される制御信号に基づいて、撮像素子１０３を制御する。また、露光タイミング制御部１０４は、撮像が完了したことを示す信号を制御部１０６に出力する。
投影パターン制御部１０５は、制御部１０６からの制御信号に基づいて、投影部１０２を制御する。また、投影パターン制御部１０５は、投影パターンを生成すると共に、投影が完了したことを示す信号を制御部１０６に出力する。

制御部１０６は、投影パターン制御部１０５及び露光タイミング制御部１０４に制御信号を出力する。また、制御部１０６は、投光パターン制御部１０５からの投影が完了したことを示す信号の受信に同期して露光タイミング制御部１０４に制御信号を出力する。
記憶部１０７は、撮像素子１０３から入力した画像データを記憶する。そして記憶した画像データをパターン認識部１０８に出力する。
パターン認識部１０８は、記憶部１０７から入力された画像データを解析し、アダマール行列に基づいて計測対象に投影されたパターンを、その逆行列を用いて、スリット光（スリット位置）がシフトした画像に変換する。パターン認識部１０８は、空間を分割するパターンを撮像することにより得られた画像と、スリット光がシフトした画像とに基づいて、撮像素子１０３の位置と投影部１０２の位置との対応関係を求めてパターンの位置情報を得、三次元形状算出部１０９に出力する。
三次元形状算出部１０９は、パターン認識部１０８から出力された、スリット光がシフトした画像の位置情報に基づいて三角測量の原理で計測対象１１０の三次元形状を算出する。

尚、情報処理装置１１１は、露光タイミング制御部１０４、投影パターン制御部１０５、制御部１０６、記憶部１０７、パターン認識部１０８、及び三次元形状算出部１０９を備える。情報処理装置１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、及び各種のインターフェースを備えた装置（例えばＰＣ）により実現できる。また、撮像部１１２は、光学系１０１及び撮像素子１０３を備える。撮像部１１２には、光学系１０１及び撮像素子１０３以外にも、被写体（計測対象１１０）を撮像するのに必要な公知の部品が備わっている。

図２は、三次元計則のために投影部１０２を用いて投影される従来のパターンを示す図である。
図２（ａ）は、一般的な空間符号化のパターンを示す図である。空間符号化は、パターン２０１〜２０５のような、空間を順次２分割するパターンを投影し、空間を唯一識別可能な符号を空間に対して付与し、撮像部と投影部との対応を求め三角測量の原理で三次元計測を行う方式である。

図２（ｂ）、（ｃ）は、特許文献１に記載の技術で用いられているパターンを示す図である。
図２（ａ）に示した空間符号化のパターン２０５のような高周波なパターンを計測対象１１０に投影した場合には、計測対象１１０上でのパターンが撮像素子１０３の分解能を超えてしまう可能性があるため、計測対象１１０を認識しにくくなるという問題点がある。特許文献１に記載の技術は、このような問題点を改善するようにしている。特許文献１では、低周波のパターン２０６〜２０８として、図２（ａ）に示したような、通常の空間符号化と同一のパターンを用いて、空間を分割する。次に、図２（ｂ）に示すパターン２０９〜２１２のように、複数のスリット光からなるパターンのスリット位置をシフトさせることにより得られた複数のパターン２０９〜２１２を計測対象１１０に投射する。パターン２０９〜２１２のようなパターンを用いるのは、計測対象１１０上でのパターンが撮像素子１０３の分解能を超える領域を減少させ、計測精度が下がることを防ぐ為である。
図２（ｃ）に示すパターン２１３〜２１６は、図２（ｂ）に示すパターン２０９〜２１２の最小単位のパターンを切り出したパターンである。

図３は、三次元計則のために投影部１０２を用いて投影される本実施形態のパターンの一例を示す図である。
特許文献１に記載の技術で用いられるパターンでは、スリット光を投射するため、パターンの光量が減少し、計測対象１１０の信号（画像データ）に含まれるノイズが増大してしまう問題点がある。そこで、本実施形態の投影部１０２を用いて投影されるパターンとして、低周波のパターン２１７〜２１９として、図２（ａ）、図２（ｂ）に示したような、通常の空間符号化と同一の（単一又は複数の）パターンを用いて、空間を分割する。さらに、本実施形態では、投影部１０２は、パターン２２０〜２２３として、アダマール符号を用いた複数のパターン（アダマール行例に基づいて決定される複数のパターン）を計測対象１１０に投射する。
図３（ｂ）は、図３（ａ）に示す、アダマール符号を用いたパターン２２０〜２２３の最小単位のパターン２２４〜２２７を示す図である。パターン認識部１０８は、アダマール符号を用いたパターン２２４〜２２７を、パターン２１３〜２１６を投射した画像に擬似的に変換して三次元計測を行う。ただし、このようにパターン認識部１０８によって、アダマール符号を用いたパターン２２４〜２２７から変換された画像データは、パターン２１３〜２１６を投射したときに得られる画像データよりもノイズが低減されている。尚、図３（ｂ）に示す、アダマール符号を用いたパターン２２４〜２２７を用いることで、画像データに発生するノイズが減少することについては後述する。

図４は、空間を分割するパターンとして、明暗（光強度）が相互に反転した複数のパターンを用いた場合に、アダマール符号を用いたパターンを１パターン削減することが可能であることを説明する図である。空間符号化では、一般的に、計測対象１１０となる物体の反射率をキャンセルするために、パターン２２８、２２９、パターン２３０、２３１、パターン２３２、２３３のように、明暗が反転したパターンを用いる。そこで、明暗が反転したパターンを投影した画像を互いに加算（合成）することで、パターン２３７のように、図３（ａ）に示すパターン２２０を擬似的に作成することができる。よって、空間を分割するパターンとして、明暗の反転した複数のパターンを用いた場合、アダマール符号を用いたパターンを１パターン削減することが可能である。

次に、図３（ｂ）に示す、アダマール行列を用いたパターン２２４〜２２７について説明する。
投影パターンに使用するアダマール行列は、Ｓ型Ｈ行列であり、ｎ次のＳ型Ｈ行列の要素Ｈ_nは、以下の（１）式、（２）式、（３）式で求めることができる。

本実施形態の図３（ｂ）に示すパターン２２４〜２２７は、以下の（４）式で示される４次のアダマール行列に基づいて決定されている。

具体的には、図３（ａ）に示すパターン２２０〜２２３及び図３（ｂ）に示すパターン２２４〜２２７は、以下の（５）式に示す規則で２進アダマール行列に変換した後、補符号をとった行列であり、（６）式に示すような行列となる。（６）式の行列は４次のアダマール行列の分類では00型補正規系のアダマール行列であり、主対角元素が一様な行列である。もちろん、行列の要素が１である時、パターンの輝度を下げ、行列の要素が０である時、パターンの輝度を上げた場合、00型補正規系のアダマール行列の代わりに、00型正規系のアダマール行列を用いてもよい。

ここで、図３（ｂ）に示すパターン２２４〜２２７を用いることで、計測対象１１０の画像データに含まれるノイズが減少することを説明する。
まず、図３（ｂ）に示すパターン２２４〜２２７ではなく、図２（ｃ）に示すパターン２１３〜２１６を投射して撮像した場合について説明する。
図５は、図２（ｃ）に示すパターンを投射して得られた撮像画像の輝度の真値（図５（ａ））と実際値（図５（ｂ））の一例を示す図である。
撮像画像の輝度の真値をs₁、s₂、s₃、s₄とし、撮像時のノイズをn₁、n₂、n₃、n₄とする。ただし、撮像時のノイズは信号に依存しないものとし、平均０、分散σ²（σは標準偏差）とする。パターン２１３〜２１６を計測対象１１０に投射した場合に撮像される撮像画像の輝度値y₁、y₂、y₃、y₄は、以下の（７）式〜（１０）式のようになる。
y₁＝s₁＋n₁ ・・・（７）
y₂＝s₂＋n₂ ・・・（８）
y₃＝s₃＋n₃ ・・・（９）
y₄＝s₄＋n₄ ・・・（１０）

ここで、撮像画像の輝度の真値と推定値の平均二乗誤差の期待値Ｅは、以下の（１１）式のようになる。

図６は、図３（ｂ）に示すパターン２２４〜２２７を投射して得られた撮像画像の輝度の実際値（図６（ａ））と推定値（図６（ｂ））の一例を示す図である。
図３（ｂ）に示すパターン２２４〜２２７を計測対象１１０に投射した場合に実際に観測される撮像画像の輝度値x₁、x₂、x₃、x₄は、以下の（１２）式〜（１５）式のようになる。
x₁＝s₁＋s₂＋s₃＋s₄＋n₁ ・・・（１２）
x₂＝s₁＋s₃＋n₂ ・・・（１３）
x₃＝s₁＋s₂＋n₃ ・・・（１４）
x₄＝s₁＋s₄＋n₄ ・・・（１５）

ここで、（６）式に示した行列の逆行列は、以下の（１６）式で表され、撮像画像の輝度の推定値s₁'、s₂'、s₃'、s₄'は、以下の（１７）式〜（２０）式のようになる。

ここで、撮像画像の輝度の真値s₁、s₂、s₃、s₄と推定値s₁'、s₂'、s₃'、s₄'との平均二乗誤差の期待値Ｅは、以下の（２１）式のようになり、（１１）式に示した期待値Ｅと比べて１／２倍となる。よって、（６）式の行列に基づいて符号化されたパターンを用いた場合、画像データに発生するノイズが１／２倍になることが分かる。

また、図３（ｂ）に示すパターン２２４〜２２７は、アダマール行列から生成されるＳ行列を用いても良い。Ｓ行列は、アダマール行列の第一行及び第一列の要素を１に正規化し、第一行及び第一列の要素を除き、１を０、−１を１に置き換えた行列である。また、Ｓ行列の逆行列は、以下の（２２）式で求めることができる。ここで、1nは、全ての要素が１であるｎ×ｎの行列である。また、Ｓ^Tは、Ｓの転置行列である。

次に、図７のフローチャートを参照しながら、三次元計測装置の処理の流れの一例について説明する。
まず、制御部１０６は、投影パターンを出力することを指示する制御信号を投影パターン制御部１０５に送る。この制御信号を受けた投影パターン制御部１０５は、投影部１０２を制御して、空間を分割するパターンを計測対象１１０に投影させる。ここで、空間を分割する投影パターンとは、例えば、図３（ａ）に示すパターン２１７〜２１９である。投影パターン制御部１０５は、投影が完了するタイミングで、投影が完了したことを示す信号を制御部１０６に送る。

この信号を受けた制御部１０６は、撮像を指示する制御信号を露光タイミング制御部１０４に送る。この制御信号を受けた露光タイミング制御部１０４は、撮像素子１０３に電荷を蓄積させる。露光タイミング制御部１０４は、撮像素子１０３を制御し、撮像素子１０３で蓄積された電荷に基づくアナログ信号をＡ／Ｄ変換することにより得られた画像データを記憶部１０７に記録させる（ステップＳ７０１）。

次に、制御部１０６は、空間を分割するパターンの全ての投影及び撮像が終了したか否かを判定する（ステップＳ７０２）。この判定の結果、空間を分割するパターンの全ての投影及び撮像が終了していない場合には、ステップＳ７０１の処理に戻る。そして、次のパターンの投影と、その投影に同期した撮像と、その撮像により得られた画像データの記録とを行う。例えば、図３（ａ）に示すパターン２１７〜２１９を、この順で順番に投影する。

そして、空間を分割するパターンの全ての投影及び撮像が終了すると、ステップＳ７０３の処理に進む。制御部１０６は、アダマール行列に基づいて符号化されたパターンを出力することを指示する制御信号を投影パターン制御部１０５に送る。この制御信号を受けた投影パターン制御部１０５は、投影部１０２を制御して、アダマール行列に基づくパターンを計測対象１１０に投影させる。ここで、アダマール行列に基づくパターンとは、例えば、図３（ｂ）に示す２２０〜２２３である。投影パターン制御部１０５は、投影が完了するタイミングで、投影が完了したことを示す信号を制御部１０６に送る。

この信号を受けた制御部１０６は、撮像を指示する制御信号を露光タイミング制御部１０４に送る。この制御信号を受けた露光タイミング制御部１０４は、撮像素子１０３に電荷を蓄積させる。露光タイミング制御部１０４は、撮像素子１０３を制御し、撮像素子１０３で蓄積された電荷に基づくアナログ信号をＡ／Ｄ変換することにより得られた画像データを記憶部１０７に記録させる（ステップＳ７０３）。

次に、制御部１０６は、アダマール行列に基づくパターンの全ての投影及び撮像が終了したか否かを判定する（ステップＳ７０４）。この判定の結果、アダマール行列に基づくパターンの全ての投影及び撮像が終了していない場合には、ステップＳ７０３の処理に戻る。そして、次のパターンの投影と、その投影に同期した撮像と、その撮像により得られた画像データの記録とを行う。例えば、図３（ａ）に示すパターン２２０〜２２３を、この順で順番に投影する。

そして、アダマール行列に基づくパターンの全ての投影及び撮像が終了すると、ステップＳ７０５に進む。パターン認識部１０８は、アダマール行列に基づくパターンを撮像することにより得られた画像データを記憶部１０７から読み出し、読み出した画像データを、スリット光がシフトした画像データに変換する（ステップＳ７０５）。
次に、パターン認識部１０８は、空間を分割するパターンを撮像して得られた画像データと、スリット光がシフトした画像データとを元に、撮像素子１０３の位置と、投影部１０２の位置との対応を求め、パターンの位置情報を得る（ステップＳ７０６）。
次に、三次元形状算出部１０９は、パターン認識部１０８で求めた、撮像素子１０３の位置と投影部１０２の位置との対応に基づいて、三角測量の原理で、計測対象１１０の三次元形状を算出する（ステップＳ７０７）。
最後に、三次元形状算出部１０９は、算出した三次元形状の情報を出力する（ステップＳ７０８）。

以上のように本実施形態では、まず、空間を２分割する複数のパターン２１７〜２１９を順次（個別に）計測対象１１０に投射し、そのときの計測対象１１０の画像データを得る。次に、アダマール行例に基づいて符号化され、光強度の分布が定められた複数のパターン２２０〜２２３を順次（個別に）計測対象１１０に投射し、そのときの計測対象１１０の画像データを得る。次に、アダマール行列の逆行列を用いて、アダマール行例に基づいて符号化されたパターン２２０〜２２３を投射して得られた画像データを、複数のスリット光からなるパターンのスリット位置をシフトさせた複数のパターンを投射して得られる画像データに変換する。次に、当該変換した画像データと、空間を２分割するパターン２１７〜２２０を投射して得られた画像データとに基づいて、三角測量の原理で計測対象１１０の三次元形状を得る。したがって、パターンの光量を減少させることなく、画像データに含まれるノイズを低減することができるので、計測対象１１０の三次元形状の計測精度を向上させることができる。

また、本実施形態では、空間を２分割する複数のパターンとして、隣接する領域の光強度を反転させた強度分布を持つパターンを用いるようにした。したがって、アダマール符号を用いたパターンを１パターン削減することができ、当該パターンの画像データを取得する必要がなくなる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１０２投影部、１１１情報処理装置、１１２撮像部

Claims

光強度の分布を有する複数の投影パターンの光を計測対象に投影する投影手段と、
前記投影手段による光の投影方向と異なる方向から、前記投影パターンが投影された計測対象を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、前記計測対象の三次元形状を算出する三次元形状算出手段と、を有し、
前記投影手段は、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンを前記計測対象に投影することを特徴とする三次元計測装置。
前記投影手段は、空間を分割する単一又は複数の投影パターンと、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンとのそれぞれを個別に前記計測対象に投影することを特徴とする請求項１に記載の三次元計測装置。
前記空間を分割する複数の投影パターンは、光の強度分布が相互に反転された投影パターンを含むことを特徴とする請求項２に記載の三次元計測装置。
前記三次元形状算出手段は、前記光の強度分布が相互に反転された投影パターンが前記撮像手段により撮像されることによって得られた画像を合成することを特徴とする請求項３に記載の三次元計測装置。
前記アダマール行列に基づいて光強度の分布が定められた投影パターンは、２進アダマール行列に基づいて光強度の分布が定められた投影パターンであることを特徴とする請求項１〜４の何れか１項に記載の三次元計測装置。
前記２進アダマール行列は、00型正規系のアダマール行列、又は00型補正規系のアダマール行列であることを特徴とする請求項５に記載の三次元計測装置。
前記アダマール行列に基づいて決定される複数のパターンは、アダマール行列から作成されるＳ行列に基づいて決定されるパターンであることを特徴とする請求項１〜４の何れか１項に記載の三次元計測装置。
光強度の分布を有する複数の投影パターンの光を計測対象に投影する投影工程と、
前記投影工程による光の投影方向と異なる方向から、前記投影パターンが投影された計測対象を撮像する撮像工程と、
前記撮像工程により撮像された画像に基づいて、前記計測対象の三次元形状を算出する三次元形状算出工程と、を有し、
前記投影工程は、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンを前記計測対象に投影することを特徴とする三次元計測方法。
前記投影工程は、空間を分割する単一又は複数の投影パターンと、アダマール行列に基づいて光強度の分布が定められた複数の投影パターンとのそれぞれを個別に前記計測対象に投影することを特徴とする請求項８に記載の三次元計測方法。
前記空間を分割する複数の投影パターンは、光の強度分布が相互に反転された投影パターンを含むことを特徴とする請求項９に記載の三次元計測方法。
前記三次元形状算出工程は、前記光の強度分布が相互に反転された投影パターンが前記撮像工程により撮像されることによって得られた画像を合成することを特徴とする請求項１０に記載の三次元計測方法。
前記アダマール行列に基づいて光強度の分布が定められた投影パターンは、２進アダマール行列に基づいて光強度の分布が定められた投影パターンであることを特徴とする請求項８〜１１の何れか１項に記載の三次元計測方法。
前記２進アダマール行列は、00型正規系のアダマール行列、又は00型補正規系のアダマール行列であることを特徴とする請求項１２に記載の三次元計測方法。
前記アダマール行列に基づいて決定される複数のパターンは、アダマール行列から作成されるＳ行列に基づいて決定されるパターンであることを特徴とする請求項８〜１１の何れか１項に記載の三次元計測方法。