JP4379626B2 - ３次元形状計測方法及びその装置 - Google Patents

Description

本発明は、レーザ光を用いて対象物体までの距離情報を三角測量の原理で取得する３次元形状計測装置に関し、特に、リアルタイムで効率的に対象物体の全周形状を計測することが可能な装置に関する。
また、前記装置を用いて、対象物体の３次元形状を計測する方法に関するものである。

対象物体の全周形状を得るためには、（１）単一方向からの形状の奥行き情報を獲得する処理、（２）（１）のステップを繰り返し、複数の奥行き情報を獲得し、これらを１つにする位置合わせの処理、（３）位置合わせされた複数の奥行き情報を１つの全周形状に統合する処理という、３つのステップが必要である。
（１）の処理において、形状の奥行き情報の獲得が「単一方向から」であるのは、通常、センサから見える部分の奥行き情報しか取得できないためである。このようなセンサとして、レーザを用いたレーザ・レンジファインダ（精度は高いが、大型で高価）、複数枚の画像を用いた写真測量による方法（安価だが、細かい形状取得が難しい）、パターン投光機を用いた三角測量による方法（装置の配置が複雑）、ＬＥＤとレーザを組み合わせた単眼カメラによる方法（例えば、特開２００３−１３０６２１号公報）などがある。
また、（２）の位置合わせに関しては、ＩＣＰ法（非特許文献１）や、その拡張（非特許文献２）などが研究されているが、これらは、ある程度位置合わせが終了した後に、さらに精細な位置合わせを実現する手法であり、大きく離れた複数の方向からの形状を自動的に位置合わせする手法は、未だ実現されていない。
さらに、複数回計測したにも関わらず、計測できなかったためにできる穴の確認は、前述した処理を全て終了した後、初めて可能となるため、全周を確実に計測するためには、一連の処理を何度も繰り返す必要があり、計測の効率は非常に悪いものであった。
最近、この効率の悪さの解決を目指した新しいシステムが（非特許文献３）において提案されている。このシステムでは、（１）と（２）を同時に行う機構とすることで、計測できなかった穴をリアルタイムに確認でき、効率的な計測が可能となっている。
ところが、このシステムは、「パターン投光機を用いた三角測量による」３次元計測手法に限定・拡張されたシステムであるため、設備が大掛かりなほか、投光機とカメラとの同期が必須であったり、計測対象の大きさが限定されるなどの欠点があった。
そこで、本発明は、「特開２００３−１３０６２１」で説明した「ＬＥＤとレーザを組み合わせた単眼カメラによる方法」を３次元計測手法に用いることで、前記手法の欠点を解消した全周形状の計測システムの開発を目的とする。
特開２００３−１３０６２１号公報 Ｐ．Ｊ．Ｂｅｓｌ ａｎｄ Ｎ．Ｄ．ＭｃＫａｙ著「"Ａ ｍｅｔｈｏｄ ｆｏｒ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ３−Ｄｓｈａｐｅｓ"ＩＥＥＥ Ｔｒａｎｓ．ｏｆ ＰＡＭＩ，ｖｏｌ．１４，Ｎｏ．２，ｐｐ．２３９−２５６，１９９２」 Ｙ．Ｃｈｅｎ ａｎｄ Ｇ．Ｍｅｄｉｏｎｉ著「"Ｏｂｊｅｃｔ ｍｏｄｅｌｉｎｇ ｂｙ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｒａｎｇｅ ｉｍａｇｅｓ"Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，１０（３）：１４５−１５５，１９９２」 Ｓｚｙｍｏｎ Ｒｕｓｉｎｋｉｅｗｉｃｚ，Ｏ．Ａ．Ｈａｌｌ−Ｈｏｌｔ ａｎｄ Ｍ．Ｌｅｖｏｙ著「"Ｒｅａｌ−Ｔｉｍｅ ３Ｄ Ｍｏｄｅｌ Ａｃｑｕｉｓｉｔｉｏｎ"ＡＣＭ ＳＩＧＧＲＡＰＨ，ｐｐ．４３８−４４６，２００２」 Ｒｙｏ Ｆｕｒｕｋａｗａ ａｎｄ Ｈｉｒｏｓｈｉ Ｋａｗａｓａｋｉ 著「"Ｅｒｒｏｒ ａｎａｌｙｓｉｓ ｏｆ ３Ｄ ｍｅａｓｕｒｅｍｅｎｔ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｓｅｎｓｉｔｉｖｉｔｙ ｏｆ ｍｅａｓｕｒｉｎｇ ｃｏｎｄｉｔｉｏｎｓ"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ６ｔｈ Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，ｖｏｌ．２，ｐｐ．６６４−６６９，２００４」 Ｗｉｌｌｉａｍ Ｅ．Ｌｏｒｅｎｓｅｎ ａｎｄ Ｈａｒｖｅｙ Ｅ．Ｃｌｉｎｅ著「"Ｍａｒｃｈｉｎｅ Ｃｕｂｅｓ，Ａ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ ３Ｄ Ｓｕｒｆａｃｅ ｃｏｎｓｔｒｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ"Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，ＳＩＧＧＲＡＰＨ ’８７，２１，４，ｐｐ．１６３−１６９，１９８７」 Ｊ．Ａ．Ｓｅｔｈｉａｎ著「"Ｌｅｖｅｌ Ｓｅｔ Ｍｅｔｈｏｄｓ ａｎｄ Ｆａｓｔ Ｍａｒｃｈｉｎｇ Ｍｅｔｈｏｄｓ"Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ；２ｎｄ ｅｄｉｔｉｏｎ，１９９９，ＩＳＢＮ：０５２１６４５５７３」 Ｈ．Ｈｏｐｐｅ，Ｔ．ＤｅＲｏｓｅ，Ｔ．Ｄｕｃｈａｍｐ，Ｊ．Ａ．ＭｃＤｏｎａｌｄ ａｎｄ Ｗ．Ｓｔｕｅｔｚｌｅ著 「"Ｓｕｒｆａｃｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ ｕｎｏｒｇａｎｉｚｅｄ ｐｏｉｎｔｓ"ＡＣＭＳＩＧＧＲＡＰＨ ｐｐ．７１−７８，１９９２」

広くＣＧが普及し、様々な場面でＣＧが使われるようになったため、多くの３Ｄモデルが必要となってきている。これまでＣＧの分野では、何もない状態から、３ＤＣＧソフトを用いて直接モデルを作成することが通常行われてきた。しかし、この場合、人手による部分が多く、必要な３Ｄモデルを効率良く作成することができないので、効率性と精度の点から、最近では実在するものをデジタイズし直接利用する機会が増えてきている。このため、３Ｄスキャナの需要は高まる一方である。
ところが、３Ｄスキャナは通常、特殊なレンズや、機械制御機構等を必要とするため、値段が高く、大きくて重い。これに対して、複数枚の画像セットから３次元モデルを復元する簡便な方法も提案されているが、これは未だ研究途上であり、精度や効率の面でも劣っている。
また、既存の３Ｄスキャナは、見えている方向の形状だけしか通常計測できないため、対象の全周形状を獲得するには、計測後、位置合わせや、形状の統合等、幾つかの複雑な処理が必要である。しかも、形状が完全には計測されておらず、まだ穴が残っている場合、これが処理の後半に初めて明らかとなるため、そのときには、また最初から計測し直さねばならず、かなり面倒な作業になることが多かった。
計測と同時に穴（計測データの欠けている部分）などを確認しながら処理を進めることができ、しかも同時に全周形状を取得できるシステムがあれば、前述した課題を克服できる。
また、機構の簡単さ、持ち運び易さ、計測効率の高さ、精度の良さ、低価格などを実現することも、強く望まれる。
「特開２００３−１３０２１」で説明した計測装置は、レーザにＬＥＤを取り付けたものであり、このレーザで対象物体を照射しつつ、単眼のビデオカメラで計測装置及びレーザの反射位置それぞれを同時に撮影するものである。
ＬＥＤにより、計測装置の３次元の位置・姿勢が同定されるので、これにより、三角測量の原理から、レーザ反射位置の３次元座標が求まる。
当該計測装置は、発明が解決しようとする課題で述べた、機構の簡単さ、持ち運び易さ、計測効率の高さ、精度の良さ、低価格などの特徴を備えている。
このうち、特に計測効率と精度をさらに向上させるため、独自のオフライン処理を提案する。この処理は、基本的に、検出されたレーザ位置を利用して、レーザ平面を再推定する処理であり、以下の３種類の効果を持つ。
第一に、通常のオンライン処理時には各フレームにおけるＬＥＤの観測位置のみにより推定されるレーザ平面の位置を、全てのフレームにおける距離推定の値を利用して再推定することにより、レーザ平面の推定精度が向上し、計測精度の向上が見込まれる。
第二に、あるフレームで計測されたＬＥＤの数が少な過ぎて、初期位置が求められない場合でも、検出されたレーザにより、レーザ平面が推定され、レーザ反射位置の奥行き情報の獲得が可能となる。「特開２００３−１３０６２１」で開示した実施例にも記述している通り、通常効率的な初期位置推定に４つのＬＥＤが必要であるのに対して、本発明では、それより少ないＬＥＤ、さらには、１つも映っていなくても計測が可能であり、大幅に計測効率と利便性を高める効果を持つ。これにより計測サンプリング数も増え、精度向上も期待できる。さらに、計測装置がカメラ内に収まらなくても良いため、計測のし易さが大幅に向上する。
第三に、レーザとＬＥＤとの位置関係を測定することができる。これにより、ＬＥＤとレーザとを取り付けるときの取り付け位置の誤差の、最終的な形状推定結果への影響を軽減し、精度を向上させることができる。
また、「特開２００３−１３０６２１」で説明した計測装置は、１視点方向からの奥行き情報しか取得することができなかった。そこで、当該計測装置に回転テーブルを加えたシステムによる全周形状獲得方法を提案する。
これは、計測対象を回転テーブルの上に設置し、回転角がセンサやＬＥＤなどにより分かるようにしておき、回転テーブルを回転させながら計測を行うことで実現する。回転角度の取得方法としては、ＬＥＤを回転テーブルに固定しておくことで、画像処理によりこれを推定することが可能である。こうすることで、「特開２００３−１３０６２１」の利点である、複眼でなく単眼カメラを利用することを維持できるほか、リアルタイム性も継承できる。もちろん、回転角の取得には、その他のセンサを利用しても構わない。
各フレームで独立に回転角度が分かっているため、あるフレームで得られた３次元値をこの回転角を用いて座標変換することで、対象物の物体座標系における３次元位置の獲得が可能となる。これにより、自由にテーブルを回転させながら、計測装置から射出されるレーザで対象物体を自由に照らすことで、効率良く対象物体の全周３次元形状を得ることができる。
このとき、回転テーブルに鏡を付ければ、通常ではカメラに映らない部分も計測することができるようになる。さらに、鏡の上に、レーザと同じ波長の光のみを通すフィルタを取り付けておけば、レーザ領域のみが反射されるため、効率の良い計測が可能となる。すなわち、計測装置のＬＥＤが鏡に映り込んだり、天井に付いている照明等の反射がなくなるため、誤認識が減る。また、逆に鏡にレーザが反射し、物体を照射することによる計測の効率化も期待できる。

第１図は、計測機器のＬＥＤの中心位置を原点とし、計測機器に対して固定されたｘ、ｙ、ｚ軸をもつ直交座標系として定義することを示した図である
第２図は、オフライン処理によってレーザ平面を再推定するアルゴリズムを示したフローチャートである。
第３図は、計測機器の実際のレーザ平面と理想的なレーザ平面（ＬＥＤの配置から計算されるレーザ平面）との、ＬＥＤとレーザの取り付け誤差によるずれ（偏差）を得ることを示した図である。
第４図は、ＬＥＤを設置した回転テーブルを用いて全周形状の推定を行う方法を示した図である。
第５図は、回転テーブルにキャリブパターンを貼って、回転させながらそれを計測し、そのパターンから最適化計算によって、回転テーブルのキャリブレーションを行う手法を示した図である。
第６図は、カメラ中心と画像平面上のＬＥＤとを結ぶ直線を、回転テーブルの方向へ伸ばして、実際のＬＥＤとぶつかる点の３次元座標を求め、この座標とキャリブレーションパラメータから、回転テーブルの回転角度とＬＥＤの回転中心からの距離（回転半径）を計算することを示した図である。
第７図は、複数設置するＬＥＤの回転半径をそれぞれ異なる値とすることで、各ＬＥＤを識別可能にしておくことを示した図である。
第８図は、全周形状を作成するために、推定した回転角を用いて、各フレームで計測した３次元座標を、対象物体座標系に変換することを示した図である。
第９図は、形状を保存するためのデータ形式として、ボクセルを利用することを示した図である。
第１０図は、ある点が計測されたとき、その計測された点が含まれるボクセルに投票する機構にしておき、計測が終了した時点で一定以上の投票のあるボクセルにのみ、点があるとすれば、統計的に正しい３次元点及び面が得られることを示した図である。
第１１図は、多くのＬＥＤを計測機器に設置しておき、その中から幾つか選択して初期位置を決定し、残りのＬＥＤを誤差の極小化による最適化処理に利用することを示した図である。
第１２図は、検出したレーザ領域は、通常は連続しており、奥行き値が階段状に急激に変化した場合でも、その不連続点までは、それぞれ連続していることを示した図である。
第１３図は、ラインレーザの数を増やすと、直接スキャンする領域が増えることを示した図である。
第１４図は、鏡を利用すれば、鏡に映った対象に関しても、３Ｄ計測が可能になるほか、鏡に反射したレーザが物体を照射すれば、これによっても形状推定が可能となることを示した図である。

「特開２００３−１３０６２１」で説明した計測装置は、まず、レーザ平面を推定し、この平面と対象が交わる点（線）を用いて、三角測量の原理により、奥行き情報を推定する。このとき考えられる、奥行き情報の推定誤差の原因としては、（１）ＬＥＤの位置検出誤差による、レーザ平面の推定誤差、（２）ＬＥＤとレーザ平面の取り付け誤差などによる、レーザ平面の推定誤差、（３）レーザ反射位置の検出誤差、が考えられる。
（１）は、パラメータ推定に画像処理の手法を用いているためであり、（２）は、実際のレーザ平面が、計測機器の製造上の精度限界により、正しい位置にないために、レーザ平面の推定パラメータに誤差が生じる。
古川ら（非特許文献４）は、奥行き情報の推定誤差のうち、平均値からの偏差が、（１）のみを仮定しても説明できることを示した。このことは、レーザ平面の推定誤差を抑制することの重要さを示唆している。
（１）のように、量子化誤差やＬＥＤの画素の一部が観測されないなどの理由でＬＥＤ位置に誤差が生じた場合、誤ったレーザ平面が推定され、誤った３次元推定を行ってしまう。
（２）の場合には、全ての推定の際に影響を与える。誤差による位置推定の偏移が計測機器の方向によって決まるため、計測機器の方向を動かしながら計測したときに、表面形状に不連続な誤差が生じる原因となる。
また、これらレーザ平面の推定誤差は，特に、計測機器のレーザ平面がカメラの視線方向に対して急な角度のときに、著しく誤った３次元推定を行う結果となる。
これらの誤差を軽減する方法として、ベイズ推定などの統計的な処理を適用することができるが、測定回数の少ない画素においては、最終的な形状に大きな影響を与えることが多い。
本発明では、レーザ平面推定の精度向上を実現するために、計測装置から得られたデータに対して、以下に説明するオフラインアルゴリズムを適用することを提案する。
まず、計測機器の座標系を「計測機器座標系」と呼び、計測機器のＬＥＤの中心位置を原点とし、計測機器に対して固定されたｘ、ｙ、ｚ軸をもつ直交座標系として定義する（第１図）。レーザ平面がｘｙ平面となり、レーザ射出方向がｘ方向である。レーザプロジェクタが、物理的に正しく計測機器に取り付けられていれば、レーザ平面は計測機器座標系において平面ｚ＝０に等しくなる。実際にはレーザプロジェクタの位置には誤差があるので、キャリブレーションによってこの誤差が求まっている場合には、誤差を考慮した平面によってレーザ平面を表す。
また、カメラに対して固定されたｘ、ｙ、ｚ軸をもつ直交座標系をカメラ座標系と呼ぶ。計測機器座標系のカメラ座標系に対する位置と方向は、ＬＥＤから推定される。計測機器座標系のカメラ座標系に対する位置と方向を、計測機器座標系のポーズと呼ぶ。
このとき、オフラインアルゴリズムは以下のようになる（第２図）。このアルゴリズムが適用される時点で、計測時のデータは全て保存されているものとする。ただし、全ての映像データを保存しておく代わりに、検出したレーザ位置データやＬＥＤ座標のみを保存しても良い。こうすれば、保存するデータ量を大幅に減らすことができるだけでなく、画像処理を一度実施するだけで良い。
（平面を再推定するアルゴリズム）（１）ｎ個のフレームがあるとする。ｋ番目のフレームを、Ｆ（ｋ）と記述する。Ｆ（ｋ）に対して推定された計測機器座標系のポーズをＰ（ｋ）、Ｆ（ｋ）に対して検出されたレーザ反射位置をＲ（ｋ）と記述する。
（２）Ｆ（０）、Ｆ（１）、・・・、Ｆ（ｎ）の全フレームについて、Ｐ（ｋ）、Ｒ（ｋ）から距離画像を計算し、これをＣ（ｍ）とする。
（３）Ｆ（０）、Ｆ（１）、・・・、Ｆ（ｎ）の各フレームに対して以下の処理を行う。
（３．１）フレームＦ（ｋ）において、レーザ反射位置Ｒ（ｋ）における距離画像上の点の集合Ｄ（ｋ）を、距離画像Ｃ（ｍ）から、値を読み出すことで生成する。
（３．２）集合Ｄの座標はカメラ座標系で記述されているため、推定された計測機器座標系のポーズのパラメータを用いて計測機器座標系に変換し，これをＤ’（ｋ）とする。
（３．３）計測機器座標系で表したレーザ平面をＬ’とする（Ｌ’はフレーム番号に依存しない）。Ｌ’上に、その推定の信頼性に応じた数の点を生成し、それらを計測機器座標系で表したものを集合Ｄ’（ｋ）に加える。
（３．４）Ｄ’（ｋ）の要素を重回帰分析にかける。重回帰のモデル式は、Ｄ’（ｋ）の座標値を（Ｘ，Ｙ，Ｚ）とした時、Ｚ＝ＡＸ＋ＢＹ＋Ｃである。この平面をＭ’（ｋ）とおく。
（３．５）３次元点Ｄ’（ｋ）と平面Ｍ’（ｋ）との残差ｅ（ｋ）を算出する。
（４）全てのフレーム、つまりＦ（０）、Ｆ（１）、・・・、Ｆ（ｎ）に対して、それぞれのフレームの処理で推定された平面Ｍ’（ｋ）及び検出されたレーザ反射位置Ｒ（ｋ）を用いて、距離画像の再推定を行い、新たな距離画像Ｃ（ｍ＋１）を生成する。
（５）ｍを１つ増やし、（３）及び（４）の処理を、残差ｅ（ｋ）のｋに関する総和が収束するまで繰り返す。
（６）収束したときのＣ（ｍ）が、最終的な形状である。
ステップ（３．４）の重回帰分析は、計測機器座標系で処理を行う。計測機器座標系では、計測機器の姿勢の推定が正しく、レーザ平面がずれていなければ、全ての推定点のｚ座標が０となり、重回帰係数は全て０となる。求められた平面パラメータに対して、この平面からの変位を調べることで重回帰分析の結果を評価する事ができる。推定した平面から多くの点が外れている場合、距離画像の値、もしくは姿勢の推定、或いはその両方が間違っていると考えられる。よってこの場合は、このフレーム自体を距離画像の推定データから外し、最終的な距離画像推定に影響を及ぼさないようにする。
また、（４）のように全フレームの平面パラメータを修正した後に、距離画像の再推定処理を行わなくても、随時、修正された平面パラメータを用いて、距離画像を更新しても良い。
前述したオフラインアルゴリズムの根拠となる仮定が２つある。１つは、画像上で計測されたレーザ反射位置の誤差は比較的外さい、というものである。同じ仮定で誤差解析を行い、実際の誤差傾向を説明した古川らの非特許文献４は、この仮定の傍証になっている。
もう１つは、複数回計測された画素における距離情報は、統計的な根拠により、高い精度を持つというものである。これらの仮定から、レーザ反射位置Ｒ（ｋ）と距離画像Ｃ（ｍ）から求められた距離画像上の点の集合Ｄ（ｋ）の精度が比較的高いことが期待され、レーザ平面の再推定結果の精度が上がると考えられる。
ステップ１の距離画像の推定において、距離の推定の精度が悪い場合には、結果が収束しにくくなることがある。そのような場合、メディアンフィルタなどにより距離画像を平滑化し、距離画像の誤差を抑制することで、結果が収束し易くなることが期待できる。
このオフライン処理では、初期形状を推定する際に利用したＬＥＤの情報を用いなくても良いが、ＬＥＤにより最初に推定された計測機器座標系のポーズＰ（ｋ）も測定値として重要な意味があると考えられる。そこで、計測機器座標系において固定された平面Ｌ’上に、Ｐ（ｋ）の信頼度に比例した数の点が乗っていると仮定して、これらのデータを加えて重回帰分析を行う事で、Ｐ（ｋ）の情報を重み付きでＭ’（ｋ）に反映させることができる。これにより、より高精度な推定が可能となる。ここでは、この重みを次のように決定する。
ＬＥＤで計測機器座標系のポーズを推定するには、最低４つのＬＥＤが検出される必要がある。仮に計測機器に付けられたＬＥＤが８個であった場合、ＬＥＤが８つ検出された時に重みを１、ＬＥＤが４つ検出された時に重みを０として、線形補間を行う（例えば、ＬＥＤが６個検出された時は０．５）。その結果が１以下であり、かつ、推定したポーズＰ（ｋ）が前後のフレームのポーズＰ（ｋ−１）、Ｐ（ｋ＋１）に近いとき（閾値処理）、Ｐ（ｋ−１）、Ｐ（ｋ＋１）の重みも足し合わせる。ただし、重みが１を超えたときは、その値を１とする。加える点の数は、最大４点とし、（重み×４）を切り捨てた値の数だけ、点を平面に加える。
この一連の処理を繰り返し行うことで、ＬＥＤから推定したレーザ平面の位置・姿勢と、最終的な形状の精度が、それぞれ改善する。
ＬＥＤの重みについては、非線形関数にしても良い。また、ＬＥＤの重みを大きくして、初期位置の影響をより大きくしても良い。その場合、例えば、加える点の数の最大数を増やせば良い。
また、レーザ平面とカメラの光軸とのなす角により、３次元推定精度が大きく異なるため、この角度から計算される３次元推定の信頼度を、重みとして使用しても良い。さらに、非特許文献４から計算される、誤差の鋭敏度を重みとしても良い。
これまでに、平面推定の精度を改善するためのオフライン処理について述べた。同じアルゴリズムを利用して、ＬＥＤが撮影・検出されていなくても、レーザ平面を推定し、レーザ位置の３次元奥行き情報の推定を行うことができる。
オンライン処理においては、検出されたＬＥＤの数が不足している場合、そのフレームにおいて、レーザ平面は推定されない。しかし、その場合でも、レーザ反射位置が検出されており、さらにその反射位置において深さ推定値が得られている場合、前述したオフラインアルゴリズムをそのまま適用することで、そのフレームにおけるレーザ平面を推定することができる。この場合には、前述したレーザ平面の精度向上の場合と違って、ＬＥＤによる情報は全く利用しない。
以上の処理により、ＬＥＤが全く計測されていなくても、検出されたレーザにより、レーザ平面を推定でき、効率的なレーザ位置の奥行き情報の獲得が可能となる。
また、ＬＥＤから推定されるレーザ平面と、前述した処理により得られたレーザ平面とのずれを調べることで、計測機器の実際のレーザ平面と理想的なレーザ平面（ＬＥＤの配置から計算されるレーザ平面）との、ＬＥＤとレーザの取り付け誤差によるずれ（偏差）を得ることができる（レーザ平面のキャリブレーションと呼ぶ）（第３図）。この偏差は全ての３次元推定に影響を及ぼすため、予め求めておき、次回の計測からはこのパラメータを最初から使うことで、精度の良い初期形状を得ることができる。
レーザ平面のキャリブレーションを、前述したオフラインアルゴリズムによって実現する手法を述べる。これにはまず、レーザ平面の再推定に利用したアルゴリズムにおいて、平面の推定値が収束するまで処理を実行する。そして、重回帰分析における繰り返し処理が終了したときに、推定平面のパラメータの、理想的なレーザ平面であるｚ＝０とのずれを取れば良い。ただし、平面のずれる要因は、ＬＥＤの位置検出誤差によるものと、ＬＥＤとレーザの取り付け誤差によるものと主に２つあるため、フレーム毎にこのずれは異なる。このため、重回帰分析が収束したときの全てのフレームにおける偏差の中央値を、最終的な偏差とする。
レーザ平面キャリブレーションのパラメータとしては、中央値以外にも、平均値や、量子化誤差が少ないときの偏差を選択しても良い。
次に、ＬＥＤを設置した回転テーブルを用いて全周形状の推定を行う方法を説明する（第４図）。これには、カメラ以外のセンサを利用せず、画像処理で回転角を求めることができるという利点と、特徴点の抽出が容易であるという利点がある。
この回転テーブルを用いて回転角度を計算する方法について述べる。まず、回転テーブルの回転軸や回転平面について、事前にキャリブレーションを行う。
回転テーブルに設置してあるＬＥＤは、テーブルを回転させると、２次元画像上では楕円を描く。そこで、その楕円を解析すれば、回転軸を推定することができる。回転テーブルのキャリブレーションには、回転テーブルにキャリブパターンを貼って、回転させながらそれを計測し、そのパターンから最適化計算で求める手法を利用しても良い（第５図）。
次に、カメラ中心と画像平面上のＬＥＤとを結ぶ直線を、回転テーブルの方向へ伸ばして、実際のＬＥＤとぶつかる点の３次元座標を求める。この座標と、前記キャリブレーションパラメータから、回転テーブルの回転角度とＬＥＤの回転中心からの距離（回転半径）を計算することができる（第６図）。
また、回転テーブルに計測対象を置くと、その物体の陰になったＬＥＤは見えなくなるため、複数のＬＥＤを設置し、常にＬＥＤが観測されるようにしておく。
その場合、複数あるＬＥＤの回転半径をそれぞれ異なる値とすることで、各ＬＥＤを識別可能にしておく（第７図）。
複数あるＬＥＤを識別するためには、異なる回転半径を用いるほかに、異なる色を用いたり、ＬＥＤの大きさを変える、などの手法も有効である。
全周形状を作成するために、推定した回転角を用いて、各フレームで計測した３次元座標を、対象物体座標系に変換する（第８図）。このとき、形状を保存するためのデータ形式として、ボクセルを利用する。ボクセルとは、３次元空間をある一定の間隔で区切った立方体のことである（第９図）。
推定した点は、そのままでは誤差を含んでいるため、ある点が計測されたとき、その計測された点が含まれるボクセルに投票する機構にしておき、計測が終了した時点で一定以上の投票のあるボクセルにのみ、点があるとすれば、統計的に正しい３次元点が得られる（第１０図）。
その際、単純な投票ではなく、ガウス分布に従った存在確率を与えると、なお精度良く正しい３次元点を推定できる。さらに、カメラ中心とレーザ検出位置をつないだ直線上に実際の点があることを考慮し、その直線上にある確率が高いことをモデル化した確率分布を利用すれば、なお精度良い推定ができる。
また、ボクセルの代わりに３次元座標をそのまま保存しても良いし、回転角と奥行き情報をそれぞれ保存しても良い。
また、点やボクセルの情報として３次元情報だけでなく、色情報も保存しておけば、推定した３次元点の色情報を使って、周辺の点やボクセルの色情報と比較することで、さらに精度向上を図ることができる。
面を生成する場合には、マーチンキューブアルゴリズム（非特許文献５）を用いれば、ボクセルから効率良く面を生成することができる。また精度良く面を生成するには、マーチンキューブアルゴリズム以外でも、レベルセット（非特許文献６）による方法や、マーチンキューブアルゴリズムの陰関数による拡張（非特許文献７）などによる方法でも良い。
続いて、本発明で提案する計測手法の精度を向上するための、様々な工夫について述べる。
まず、レーザ反射位置を検出し、デプス値を得る時、はずれ値を除外するアルゴリズムを導入すれば、間違ったデプス値が減少するため、推定精度を向上することができる。
また、レーザ平面の精度を上げるために、多くのＬＥＤを用いる手法が挙げられる。ＬＥＤは最低３つあれば、平面推定は可能である。また、４つあれば、初期位置を効率的に計算できる。さらに、それ以上あれば、効果的に誤差を減らすことができる。しかし、単純にＬＥＤの数を増やすと計測機器が大きくなってしまうが、提案するシステムでは、計測機器が対象と同じ画面内に撮影されている必要があるため、これは好ましくない。そこで、なるべくたくさんのＬＥＤを計測機器に設置しておき、その中から幾つか選択して初期位置を決定し、残りのＬＥＤを誤差の極小化による最適化処理に利用すれば、効果的に精度向上が実現できる（第１１図）。
また、上記の初期位置合わせには、ＬＥＤを用いなくても、その前後或いは近傍のフレームで推定された計測機器の位置・姿勢を用いても良い。
提案する手法では、画像処理を用いて３次元推定するため、ＬＥＤ及びレーザ領域の検出精度を向上させれば、３次元推定精度を直接的に向上させることができる。
そこで、ＬＥＤの発光面の輝度を均一、または同心円状に輝度が変化するようにし、ピクセルの明るさを重みとした加重平均を計算し、ＬＥＤの中心位置を求めれば、サブピクセル精度でのＬＥＤの位置推定が可能となり、精度向上を実現できる。さらに、単なる加重平均ではなく、楕円当てはめによる最適化を適用すれば、より高い精度が実現できる。
また、レーザ領域の検出の際に、放射状にスキャンすれば、検出精度を上げることができる。具体的には、画像上でのレーザ射出口が、ＬＥＤによる姿勢推定から分かっているため、そこから放射状にスキャンラインを設定し、そのライン上でのピークを探索すれば良い。これにより、単なる閾値処理より精度良く、サブピクセル精度でのレーザ検出が可能になる。
このとき、単に最大値を選ぶのではなく、ピークを持つ前後のピクセル値も利用して、重み付け平均を取れば、より高精度な検出が可能である。
また、前述した処理時に、ピクセルの絶対値をそのまま利用すると、明るい場所で計測した場合、シャッタースピードや絞りの調節次第では、レーザ以外のところにピークが出てしまい、うまくいかないことがある。このため、フレーム間の差分を取り、その差分画像を利用すればなお良い。
その際、単純なフレーム間差分では、前のフレームの計測機器の撮影されていた場所も差分として残ってしまうため、この部分は、推定された計測機器の位置・姿勢を用いてマスクすれば良い。
さらに、対象物体の材質、色により、レーザの反射率は異なるため、放射状スキャンだけでは、色合いの大きく異なる物体に関しては、うまくレーザ検出することができないことがある。そこで、予め物体の色が良く分かるように露出やシャッタースピード等を調整して画像を取得しておき、物体色でレーザ反射値を割れば、この問題を回避することができる。
また、レーザ反射値を物体色で割るだけではなく、カメラ位置とレーザ照射方向等も考慮した、より正確なモデルを仮定すれば、より精密な推定が可能である。
レーザの反射モデルを仮定しない方法として、ピクセルの色を計測中、ずっと保存しておく方法もある。この場合、ピクセル上では通常２つのピークが出る。１つは、レーザが当たったとき、もう１つは、当たっていないときである。この特徴を用いれば、レーザが当たったときすぐ判別できるため、高精度なレーザ検出が可能である。
検出したレーザ領域は、通常は連続している（直線または曲線）。奥行き値が階段状に急激に変化した場合でも、その不連続点までは、それぞれ連続している（第１２図）。そこで、周辺に全くレーザ領域が無い孤立点は、高い確率でノイズと考えられるため、これを除去する。
連続性を調べるときは、３次元奥行き情報を用いても良いし、２次元画像上で２次元的な連続を調べても良い。前者の場合、正確性が増し、後者の場合、計算量を減少させる効果がある。
提案する計測機器は、手で振る機構のため、手ぶれしないように、シャッタースピードを早くして撮影・計測する。そのため６０Ｈｚなどの低い周期で明滅する蛍光灯下で計測を行うと、画像の色合いが、各フレームで大きく異なることがある。その場合、フレーム間差分処理等がうまくいかなくなる。
そこで、フレーム間の明るさの違いを調整すると良い。具体的には、各フレームでフレームを代表する明るさを求めて、その比で補正する。基準となるフレームの明るさを１としたとき、あるフレームの明るさがｒであったとすると、そのフレームのピクセル座標（ｕ、ｖ）の輝度値ｐ（ｕ、ｖ）は、補正後ｐ（ｕ、ｖ）÷ｒとなる。
フレームを代表する明るさとしては、全ピクセルの平均値を用いても良いし、計算効率を上げるために全画面から一定或いはランダムにサンプリングしたピクセルの平均や中央値等を利用しても良い。
また、暗いピクセルよりも明るいピクセルの方が信頼できるため、明るいピクセルのみを閾値などで選び、平均や中央値を推定すると、なお良い。
ＬＥＤによりレーザ平面が求まったとしても、「特開２００３−１３０６２１」で提案している手法では、レーザの射出方向が一意に決まらず、自由度が残る。そこで、ＬＥＤの配置を非対称な形状にすれば、これを一意に決定することができる。また、形状を非対称にする代わりに、ＬＥＤの色を非対称にすれば、同様の効果を得ることができる。
レーザの射出方向が一意に決まれば、前記放射状スキャンをする方向を限定でき（エリアは１／４）、効率的な計測が可能となる。
同じ部分を何度も計測すれば、統計的に精度を向上させることができる。そこで、本発明では、以下に述べる２つの手法でこれを実現する。
ラインレーザの数を増やすと、直接スキャンする領域が増えるため、より効率的な計測が可能となる（第１３図）。この際に、ラインレーザの識別が必要となるが、輝度値、波長、線幅、線の長さ等の異なるレーザを用いれば、比較的簡単な処理で識別可能である。
また、誤った識別により３次元座標を推定した場合、推定した奥行き値が収束せずに、全く異なる値となるため、統計的な処理により識別することも可能である。
さらに、ラインレーザの連続性を利用して、連続しているレーザ反射は、同じレーザ光源から射出されていることを利用して、精度の良い識別が可能である。
また、鏡を利用すれば、鏡に映った対象に関しても、３Ｄ計測が可能になるほか、鏡に反射したレーザが物体を照射すれば、これによっても形状推定が可能となる（第１４図）。これにより、計測効率が向上する。
このとき、鏡の上に、レーザと同じ波長の光のみを通すフィルタを取り付けておけば、レーザのみが反射され、計測装置のＬＥＤが鏡に映り込んだり、天井に付いている照明等の反射の影響がなくなるため、誤認識が減り、効率の良い計測が可能となる。このようなフィルタとして、例えば、赤色セロファンのような単純なものを使用することができる。さらに、工業用の帯域干渉フィルターやバンドパスフィルター等を用いると、なお良い。
また、ここでも複数レーザを使用した場合と同様、レーザの識別が必要となるが、反射したレーザは光路長が長く、直接照射するレーザよりも暗くなるため、この特性により識別ができる。
この場合も、複数レーザの識別方法と同様、誤った識別により推定した３次元座標は、収束せずに全く異なる値となるため、統計的な処理を用いても識別可能である。
回転テーブルは、計測者が任意に回転させるため、回転角の推定は、各フレーム毎に独立に行われる。しかし、連続するフレーム間では、回転角度が大きく変化しないため、この制約を用いることで精度を向上させることができる。
具体的には、推定した回転角が、直前までの所定のフレームの推定角度の平均から大きく外れている場合には、推定値が誤っていると考え、形状推定からそのフレームを外せば良い。
回転角の推定値が誤っているかを比較する対象としては、直前までの所定のフレームの推定角度の平均値を使用する以外にも、１次や２次の関数近似や、カルマンフィルタなどのより複雑な手法を使うこともできる。
また、オフライン処理により、さらに高精度化を実現することもできる。これは、近似平面と観測点群との誤差を最小化するように回転角の再推定を行うことで実現できる。
基本的な考え方としては、「回転角度の推定値が正しくないと、レーザ検出位置から計算される３次元座標値が同じ平面上に乗らない」ということを利用する。
具体的には、回転角を微小に変動させながら、前述したオフライン処理による重回帰分析を実行し、そのときに計算される重回帰分析の自乗誤差を最小化するような、回転角を求めれば良い。回転テーブルに設置したＬＥＤにより精度の良い初期位置が既に求まっているため、２分探索等の単純な手法でも安定して収束する。
以上の処理を全フレームに対して行い、各フレームでの誤差ｅを全て足し合わせたものをＥとし、このＥが収束するまで、何度か繰り返し行う。
本発明では、オフライン処理と回転テーブルにより、高精度に全周を計測する手法を提案した。オフライン処理は主に次の３点を改善する。１つ目は、使わなかったフレームを復活させ、２つ目は、レーザ平面の推定精度を向上させ、３つ目は、回転角の精度を向上させる。これらの効果により、最終的な形状を劇的に改善することができる。
また、鏡や複数レーザを用いることで、計測効率を向上させ、統計的に精度の向上を実現することができる。
加えて、本システムは、計測結果をリアルタイムにディスプレイ上に表示することができるため、ユーザは３次元計測の状況をその場で画面上で確認しながら計測することができる。これにより、穴（計測データの欠けている部分）がある場合、ユーザは即座に計測し直すことができ、効率の良い全周計測が可能となる。
以上、説明した通り、オフライン処理によって、レーザ平面の推定精度が向上し、精度の向上が見込まれる。また、ＬＥＤがなくても、レーザ反射位置の奥行き情報の獲得が可能となる。さらに、レーザとＬＥＤとの位置関係（製造誤差）を測定することができ、これにより、この誤差の影響を補正し、最終的な精度を向上することができる。
加えて、全周形状を作成することができることが、本発明の大きな効果として挙げられる。
以上の効果によって、シンプルな機構で、容易に持ち運ぶことができ、効率良く全周の３次元形状を計測する装置及びその方法を実現することができる。
３次元推定及び位置合わせが、リアルタイムにかつ同時に行われるので、穴（計測データの欠けている部分）が開いているかどうか、即座に確認できる。しかも、提案する手法は、構造が簡単なため、類似点のあるシステム（非特許文献３）が抱えていた問題点を全てクリアすることができる。
さらに、鏡や複数のレーザを利用することで、計測の効率を上げることができる。

Claims (5)

1. 回転角を推定するための発光ダイオードをマーカーとして取り付けた回転テーブルと、ラインレーザ光源にその位置と方向を識別するための発光ダイオードをマーカーとして取り付けた装置と、該装置及び回転テーブル上に設置した対象物体を撮影するためのビデオカメラ等の撮像装置と、照射したラインレーザ光及び前記回転テーブルおよび前記ラインレーザ光源に取り付けられた発光ダイオードを、該撮像装置で撮影した画像から検出し、解析するための計算用コンピュータからなる３次元形状計測装置であり、回転テーブルを用いることで全周形状を作成できることと、形状取得と回転テーブルの位置検出のセンサを単眼カメラ一台で兼ねられることを特徴とする３次元形状計測装置。
2. 請求の範囲第１項に記載の装置において、回転テーブルに鏡を付けて、通常では撮像装置に映らない部分も計測できるようにし、鏡に反射したラインレーザ光が対象物体を照射することで計測を効率化することを特徴とする３次元形状計測装置。
3. 請求の範囲第２項に記載の装置において、鏡の上にレーザと同じ波長の光のみを通すフィルタを取り付けることで、レーザ領域の波長の光のみが鏡で反射されるようにし、誤認識を減らして計測を効率化することを特徴とする３次元形状計測装置。
4. 請求の範囲第１項乃至第３項のいずれかに記載の装置において、ラインレーザ光源を複数設けることで、対象物体をスキャンする領域を増やして計測を効率化することを特徴とする３次元形状計測装置。
5. 請求の範囲第１項乃至第４項のいずれかに記載の装置に、ディスプレイモニタを加えることで、計測状況をリアルタイムにディスプレイ上に表示して計測を効率化することを特徴とする３次元形状計測装置。

Images