JPH0942940A - ３次元物体の形状計測方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 被計測体の３次元物体の形状を高精度に計測
する。 【解決手段】 左右の撮像装置７０、８０によりまず被
計測体のみを撮像してその画像データをメモリ９０、１
００に保持し、次にパターン投影器２０により２次元パ
ターン１０を被計測体に投影した状態で撮像し、その画
像データからメモリ９０、１００に保持した画像データ
を加算器１１０、１２０で減算して２次元パターン１０
のみの画像データを求め、これに基づいて形状演算部５
０はパターン投影法による形状演算を行う。この演算結
果を利用して形状演算部１３０はメモリ９０、１００に
保持した画像データから両眼立体視法による形状演算を
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は被計測体の３次元情
報を抽出して入力する３次元物体の形状計測方法及び装
置に関するものである。

【０００２】

【従来の技術】従来の３次元物体の形状計測装置は、位
置の異なる２台のカメラから得られたステレオの画像間
の対応付けを行い、その対応付けの結果と予め計測され
ている２台のカメラの位置関係とから３角測量の原理に
基づき被写体（被計測体）までの絶対距離を求める両眼
立体視法が一般的である。また、画像の対応付けの精度
を上げるためにもう１台のカメラを導入する多眼視の技
術も提案されている（日経メカニカル、１９８４年１月
２日号）。

【０００３】また、上記画像同士の対応付けを容易にす
るために、片方のカメラを光源に置き換え、被写体表面
での上記光源の像をもう一方の視点に設置したカメラで
観察し、上記両眼立体視法と同様に３角測量原理に基づ
き立体計測する光投影法も一般的である。この光投影法
は困難な画像間の対応付けを行う必要がなく、また、被
写体への依存度も低く実用性も高いため、高精度な３次
元計測の分野で一定の成果をあげている。

【０００４】上記光投影法は、その光源の投影方法によ
りスポット光投影法、スリット光投影法、パターン光投
影法に分類することができる。スポット光投影法では、
スポット光を被計測体に投影し、そのスポット光により
照らされる被写体表面上の１点をもう一方の視点に設置
したカメラから得られる画像から検出する。このスポッ
ト光投影法では、１回の画像入力で被写体の１点の立体
計測しか行えない。また、スリット光投影法は、スリッ
ト状の光を投影する方法で、１回の画像入力で被写体の
１ラインの立体計測ができる。以上説明した２つの光投
影法では、被写体全域の立体計測をするためには投影光
を偏向させながら何度も画像入力を繰り返す必要があ
り、計測に時間がかかる。

【０００５】上記パターン光投影法は、格子パターンの
ような２次元的なパターンを投影するもので、画像の入
力は１回で済むものの、被写体の面が不連続な部分でパ
ターン像も不連続となり、再び対応付けの問題が発生す
る。そこで、投影パターンの色や形などに特徴を持たせ
る方法、異なる投影パターンを時系列に数回投影する方
法、もう１台のカメラを導入して対応付けの真偽判定す
る方法（特公平２−４０３０号公報）、パターン投影器
の位置は未知として専らパターンの投影だけのために設
置し、これを非同一直線状の少なくとも３ヶ所以上から
パターンの２次元画像を取得する方法（特開昭６２−２
０６６８４、ＮＴＴ）等が提案されている。その他、パ
ターン光投影法の１種として、規則的なパターンを被計
測体に投影して得られる１枚の画像から当被計測体表面
の各点の法線を求めるテキスチャ投影法も広く知られて
いる。

【０００６】

【発明が解決しようとする課題】しかしながら、前記両
眼立体視法や多眼視法で欠かせない画像同士の対応付け
の処理は多くの演算を必要とし、かつその精度も入力画
像のコントラストやテキスチャ（模様）の有無に大きく
左右され、いまだ実用的な技術として確立されていな
い。

【０００７】一方、光投影法では光源が照らす部位の計
測に限られ、被写体全域を綿密に立体計測するためには
光源を細かくスキャンする必要があり、計測に時間がか
かり過ぎるという問題があって、実際には粗い間隔で立
体計測をするにとどまっている。また、画像入力時間の
短縮のために２次元パターンを投影するパターン光投影
法であっても、画像入力後の対応付けの負担を考慮する
とパターンの細かさには限界があり、やはり粗い間隔の
立体計測しかできない、また、パターン光投影法の１種
であるテキスチャ投影法は、被写体表面の各面の傾きを
求めこれらを接続することにより、被計測体の形状、す
なわち相対的距離を求めることはできるが、絶対距離を
求めることはできない。

【０００８】そこで、請求項１、３、５、７の発明の目
的は、濃淡画像の対応付けに基づく両眼立体視、あるい
は多眼視の高分解能計測と光投影法の高精度計測とを両
立させた３次元物体の形状計測方法及び装置を提供する
ことである。

【０００９】請求項２、６の発明の目的は、パターン光
投影法による計測結果を利用して濃淡画像の対応付けを
行うことにより、演算量の軽減と計測精度の向上を達成
させることである。請求項４、８の発明の目的は、投影
パターンと被計測体にもともとある模様を分離すること
により、投影パターンに基づく形状計測の精度を向上さ
せることである。

【００１０】

【課題を解決するための手段】請求項１の発明において
は、２次元パターンを投影された被計測体を複数の異る
視点から撮像して得られる画像データを用いて上記被計
測体の形状計測を行う第１の計測工程と、上記２次元パ
ターンを投影しないときと投影したときにおいてそれぞ
れ上記複数の視点から上記被計測体を撮像して得られる
画像データを用いて上記被計測体の形状計測を行う第２
の計測工程とを設けている。

【００１１】請求項５の発明においては、被計測体に２
次元パターンを投影するパターン投影手段と、上記被計
測体を複数の異る視点から撮像する撮像手段と、上記２
次元パターンを投影された上記被計測体を上記撮像手段
により、上記複数の視点から撮像して得られる画像デー
タを用いて所定の演算を行うことにより、上記被計測体
の形状計測を行う第１の演算手段と上記２次元パターン
を投影されない上記被計測体、及び投影された被計測体
を上記撮像手段により、上記複数の視点から撮像して得
られる画像データを用いて所定の演算を行うことによ
り、上記被計測体の形状計測を行う第２の演算手段とを
設けている。

【００１２】

【作用】本発明によれば、前記第１の計測工程あるいは
第１の演算手段では、測距点が粗いものの高精度な計測
を実行し、前記第２の工程あるいは第２の演算手段で
は、測距精度にばらつきがあるものの綿密な計測を実行
するので、両方の計測結果を統合することにより、高精
度で高密度な計測を行うことができる。

【００１３】また、請求項２、６の発明のように、上記
第１の計測工程あるいは第１の演算手段により求められ
た被計測体の概形を既知情報として活用しつつ、上記第
２の計測工程あるいは第２の演算手段により被計測体の
形状を算出することにより、上記第１の計測工程あるい
は第１の演算手段により求められたパターン画像の対応
関係を拘束条件として、上記第２の計測工程あるいは第
２の演算手段により濃淡画像の対応付けを行うので、対
応点探索の範囲を限定でき無駄な演算を減らすことがで
きると共に、誤対応の可能性が減るので対応付けの高精
度化を図ることができる。

【００１４】また、請求項３、７の発明のように、合焦
制御工程や合焦制御手段を設けることにより、この合焦
制御工程や前記合焦制御手段により被計測体までのおお
よその距離を求めることができると共に、ハイコントラ
ストのパターン画像を得ることができるので、投影パタ
ーンに基づく形状計測を行う第１の計測工程あるいは第
１の演算手段の精度を更に高めることができる。

【００１５】さらに請求項４、８の発明のように、２次
元パターン投影中に得た画像とこの２次元パターンを投
影しないときに得た被計測体の濃淡画像との差分を求め
ることにより、２次元パターンだけからなる画像を得る
ようにすることにより、２次元パターンの解析により被
計測体の立体形状を求める前に誤対応、誤解析の原因と
なる当被計測体にもともとある模様を除外するので、２
次元パターンに基づく形状計測をする第１の計測工程あ
るいは第１の演算手段の計測精度を高めることができ
る。

【００１６】

【発明の実施の形態】図１は本発明の第１の実施の形態
を示すブロック図であり、同図において、１０は被計測
体（図示せず）に投影される２次元パターンで、例えば
正方格子状のパターンが用いられる。２０は２次元パタ
ーン１０を投影するパターン投影器、３０は計測起動ス
イッチ、４０はコントローラ、５０はパターン画像の解
析によって被計測体の形状を算出する形状演算部、６０
は形状演算部５０の結果を出力する出力端子、７０、８
０は画像を入力する左右の撮像装置で、例えばＣＣＤカ
メラが用いられる。９０、１００は入力された画像を一
定時間保持する画像メモリ、１１０、１２０は画像デー
タの加算器、１３０は濃淡画像の解析によって被計測体
の形状を算出する形状演算部、１４０は形状演算部１３
０の結果を出力する出力端子である。尚、図１における
太線は映像信号の伝送経路を示している。

【００１７】次に動作について説明する。まず本発明に
よる３次元物体の形状計測装置のユーザが撮像装置７
０、８０により２次元パターン１０が投影されない状態
での被計測体を撮像する。この撮像で得られる画像デー
タは画像メモリ９０、１００に保持される。次にユーザ
が起動スイッチ３０をオンにすると、コントローラ４０
がパターン投影器２０を起動させて２次元パターン１０
を被計測体に投影させる。２次元パターン１０を投影す
るタイミングは起動スイッチ３０のオンと同時でも良い
し、スイッチング動作による装置本体の揺れがおさまる
一定時間後であってもよい。また、起動スイッチ３０を
オンにすると、コントローラ４０が先ず撮像装置７０、
８０により、２次元パターン１０を投影しないで被計測
体を撮像させ、その後パターン投影器２０を起動させる
ようにしてもよい。コントローラ４０は、また、形状演
算部５０の投影パターン解析演算の開始／終了と画像メ
モリ９０、１００の読み出し、書き込みの開始／終了と
を制御する。

【００１８】２次元パターン１０が被計測体に投影され
ると、次に、撮像装置７０、８０で被計測体を撮像す
る。このとき取り込まれた画像データは加算器１１０、
１２０へ送られる。

【００１９】加算器１１０、１２０は画像メモリ９０、
１００から読み出した画像データと現在撮像された直後
の画像データとの差分を演算する。画像メモリ９０、１
００から読み出した画像データは２次元パターンを投影
しない状態での被計測体の濃淡画像を保持している。加
算器１１０、１２０は、上記濃淡画像を、現在撮像され
た最新の画像、すなわち投影パターンを投影された被計
測体の［パターン＋濃淡］画像から減算する。従って、
加算器１１０、１２０の出力は、

【００２０】［２次元パターン＋濃淡］画像−濃淡画像
＝２次元パターン画像 で示されるように２次元パターン１０だけからなる画像
である。ただし、上記［２次元パターン＋濃淡］画像入
力と濃淡画像入力とは異る時間で行われるので、この時
間差で画像間のゲインやバイアスが変化しないように、
照明条件を一定にし、ＡＧＣ（オートゲインコントロー
ル）を止めておくことが望ましい。上記２次元パターン
画像は被計測体の形状に応じて様々な変形を受けてお
り、この変形を受けた２次元パターンの解析を形状演算
部５０で行う。

【００２１】なお、本実施例では２次元パターン１０の
投影に先行して被計測体の濃淡画像を画像メモリ９０、
１００に蓄えておいたが、逆に２次元パターン１０を投
影した被計測体の画像を画像メモリ９０、１００に蓄え
ておき、２次元パターン１０を投影しない被計測体の濃
淡画像を得て、それらの差分を演算するようにしてもよ
い。

【００２２】形状演算部５０で行われる具体的な処理
は、２つの加算器１１０、１２０の出力であるパターン
画像、基本的には２値画像の対応付けである。規則正し
い投影パターンは被計測体の形状に応じて変形を受けて
おり、パターンの細かさに最適なウインドサイズ（＝ブ
ロックサイズ）を用いたマッチング法等で対応付けを行
う。

【００２３】対応付けの精度を向上させるために、例え
ば、テキスチャ投影法と組み合わせたり、投影パターン
自体に対応付けを容易にするような特徴を与えたり、異
なる２次元パターンを時系列に数回投影したり、撮像装
置の台数を増やしたりしてもよい。また、パターン投影
器２０と撮像装置７０、８０との位置関係を予め計測し
ておいて、上記パターン画像同士の対応付けの他に「パ
ターン投影器２０と撮像装置７０」や「パターン投影器
２０と撮像装置８０」の組み合わせにより、それぞれ光
投影法の原理で３角測量した結果を利用してもよい。

【００２４】形状演算部５０は、被計測体のテクスチャ
の有無に影響を受けずに安定して、高精度の計測結果を
出力する。ただし、計測分解能は投影パターンの細かさ
で決まるので、計測点はワイヤフレームのような粗い間
隔となる。形状演算部５０で求められる被計測体の概形
は、出力端子６０から出力されると同時に、濃淡画像を
用いて形状計測する形状演算部１３０へ先験情報として
供給されることにより、有効に活用される。

【００２５】形状演算部１３０で行われる処理は、複数
の濃淡画像間の対応付けであり、具体的には、米国特許
３８９０４６２号公報や特公昭６０−４６８７８号公報
等に記載される時空間勾配法（別称、グラディエント
法）、時空間勾配法を周波数空間で実行するのと等価な
フーリエ変換法、相関演算に基づく相関法やマッチング
法等、公知技術のいずれであってもよく、特に方式は問
わない。ただし、本発明においては形状演算部５０の対
応付けの結果を拘束条件として利用できるので、時空間
勾配法やフーリエ変換法を用いた場合には誤った対応付
けを排除することができる。また、相関演算に基づく相
関法やマッチング法を利用した場合には対応点探索領域
の限定をすることができ、誤対応の可能性を減らすと共
に演算量を減らすことができる。

【００２６】形状演算部１３０で求められる被計測体の
形状は、被計測体にテキスチャがある場合には、形状演
算部５０から受け渡される被計測体の概形情報を利用し
て、高速に、高精度かつ高分解能の計測結果を出力端子
１４０から出力する。被計測体の概形を出力するので、
計測が破綻することなく、常に安定した形状計測を行う
ことができる。

【００２７】尚、本実施例では、形状演算部５０と１３
０とは別の計測部として述べてきたが、両方に共通する
手法で対応付けを行う場合には、一つにまとめることが
できる。

【００２８】本実施例に特有の効果は次の通りである。 １．被計測体によらず高精度な測距ができるパターン光
投影法と、綿密な測距ができる両眼立体視法（多眼視
法）とを組み合わせることにより、被計測体に影響を受
けず安定して高精度かつ高密度の形状計測ができる。 ２．被計測体の模様の影響を排除した２次元パターンの
みからなるパターン画像に基づき被計測体の形状計測を
行うので、通常の投影法より高精度の形状計測ができ
る。 ３．パターン光投影法によって求められた被計測体の概
形を元に、濃淡画像の対応付けを行うので、探索範囲の
限定、誤対応の排除ができ、演算量の減少、計測の高精
度化ができる。

【００２９】図２は本発明の第２の実施の形態を示すブ
ロック図である。図においては、図１と実質的に対応す
る部分には同一符号を付して重複する説明を省略する。
図２において、１５０は投影される２次元パターン１０
を撮像装置７０の出力に基づいて被計測体表面上で合焦
するようにパターン投影器２０を制御する合焦制御部、
１６０は形状演算部１３０の結果を出力する出力端子で
ある。本実施例と第１の実施の形態とは、出力端子１６
０を一本化した点と合焦制御部１５０が追加された点と
で異なっている。出力端子１６０を一本化したのは、装
置をよりコンパクトにするためである。

【００３０】次に、合焦制御部１５０の動作について説
明する。合焦制御部１５０は２次元パターン１０の投影
中に撮像装置７０、８０の少なくともどちらか一方から
得た画像信号から、２次元パターン１０の合焦レベルを
調べ、被計測体の表面上でこの２次元パターン１０が合
焦するように、パターン投影器２０を制御する。

【００３１】上記制御について図３を参照してより具体
的に説明する。図３は図２の撮像装置７０、合焦制御部
１５０、パターン投影器２０及び投影パターン１０の部
分を拡大したものである。パターン投影器２０の光源２
１から照射された光はコリメータレンズ２２によって平
行光へ変換され、２次元パターンの印刷されたフィルム
透過後の光は投影レンズ２４によって被計測体１７０に
投影される。２次元パターン１０が照射された被計測体
１７０は撮像装置７０の撮像レンズ７２によって撮像面
７１に結像され、合焦制御部１５０の合焦レベル判断部
１５１において、２次元パターン１０の合焦の程度を求
め、続いてレンズ駆動制御部１５２においてパターンの
合焦の程度に応じて、パターン投影器２０内の投影レン
ズ２４の位置を算出し制御する。尚、本実施例では、合
焦面を変化させるために投影レンズ２４の位置を変化さ
せたが、フィルム２３の位置を変化させてもよい。

【００３２】上記のように合焦制御部１５０によれば、
被計測体表面でぼけ量の少ない２次元パターンを投影す
ることができるので、パターン画像を用いた形状計測を
する際に有利である。また、合焦と判断された時のパタ
ーン投影器２０内の各光学要素の位置関係から、結像公
式により被計測体１７０までのおおよその距離を求める
ことができ、続いて行われる画像データの対応付けの処
理の事前知識として利用できる。特に、相対的な距離し
か求まらないテキスチャ投影法によって求まる被計測体
１７０の形状推定結果を絶対距離に変換する際に有効で
ある。

【００３３】この、第２の実施の形態特有の効果は次の
通りである。 １．コントラストの強いパターン画像を得られるので、
パターン画像に基づく形状計測の精度を高めることがで
きる。 ２．２次元パターンを合焦させる過程で、被計測体まで
のおおよその距離が求まるので、続いて行われるパター
ン画間や濃淡画像間の対応付けの処理を高速化、高精度
化することができる。

【００３４】尚、図１、図２において、撮像装置７０、
８０の何れか一方のみを用い、これを複数の異る視点位
置に移動させて撮像するようにしてもよい。

【００３５】

【発明の効果】以上説明したように、請求項１、５の発
明によれば、高精度かつ高密度の形状計測を行うことが
できる。また、請求項２、６の発明によれば、濃淡画像
の対応付けを高速化、高精度化することができる。さら
に請求項４、８の発明によれば、パターン画像の対応付
けを高精度化することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態を示すブロック図であ
る。

【図２】本発明の第２の実施の形態を示すブロック図で
ある。

【図３】図２の要部を拡大した構成図である。

【符号の説明】

１０ ２次元パターン ２０ パターン投影器 ５０ パターン画像による形状演算部 ７０、８０ 撮像装置 ９０、１００ 画像メモリ １１０、１２０ 加算器 １３０、濃淡画像による形状演算部 ６０、１４０、１６０ 計測結果出力端子 １５０ 合焦制御部 １７０ 被計測体

───────────────────────────────────────────────────── フロントページの続き (72)発明者 倉橋 直 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 石川 基博 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 真継 優和 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 ２次元パターンを投影された被計測体を
   複数の異る視点から撮像して得られる画像データを用い
   て上記被計測体の形状計測を行う第１の計測工程と、 上記２次元パターンを投影しないときと投影したときに
   おいてそれぞれ上記複数の視点から上記被計測体を撮像
   して得られる画像データを用いて上記被計測体の形状計
   測を行う第２の計測工程とを有する３次元物体の形状計
   測方法。
2. 【請求項２】 上記第２の計測工程は、上記第１の計測
   工程により計測された上記被計測体の形状情報を既知情
   報として利用して、上記被計測体の形状計測を行うよう
   にした請求項１記載の３次元物体の形状計測方法。
3. 【請求項３】 上記被計測体に２次元パターンを投影す
   る際に、その２次元パターンを上記被計測体表面上で合
   焦するように制御する合焦制御工程を有する請求項１記
   載の３次元物体の形状計測方法。
4. 【請求項４】 上記第２の計測工程は、上記複数の各視
   点において、それぞれ上記２次元パターンを投影しない
   で上記被計測体を撮像して得られる画像データと、上記
   ２次元パターンを投影して上記被計測体を撮像して得ら
   れる画像データとの差分を求めることにより上記視点毎
   の上記２次元パターンのみの画像を得、この画像を用い
   て上記被計測体の形状計測を行うようにした請求項１記
   載の３次元物体の形状計測方法。
5. 【請求項５】 被計測体に２次元パターンを投影するパ
   ターン投影手段と、 上記被計測体を複数の異る視点から撮像する撮像手段
   と、 上記２次元パターンを投影された上記被計測体を上記撮
   像手段により、上記複数の視点から撮像して得られる画
   像データを用いて所定の演算を行うことにより、上記被
   計測体の形状計測を行う第１の演算手段と、 上記２次元パターンを投影されない上記被計測体及び投
   影された被計測体を上記撮像手段により上記複数の視点
   から撮像して得られる画像データを用いて所定の演算を
   行うことにより、上記被計測体の形状計測を行う第２の
   演算手段とを備えた３次元物体の形状計測装置。
6. 【請求項６】 上記第２の演算手段は、上記第１の演算
   手段により演算された上記被計測体の形状情報を既知情
   報として利用して、上記被計測体の形状計測を行うよう
   にした請求項５記載の３次元物体の形状計測装置。
7. 【請求項７】 上記パターン投影手段により投影される
   上記２次元パターンを上記被計測体表面上で合焦するよ
   うに制御する合焦制御手段を備えた請求項５記載の３次
   元物体の形状計測装置。
8. 【請求項８】 上記第２の演算手段は、上記複数の各視
   点において、それぞれ上記２次元パターンを投影しない
   ときに上記被計測体を撮像して得られる画像データと、
   上記２次元パターンを投影して上記被計測体を撮像して
   得られる画像データとの差分を求めることにより、上記
   視点毎の上記２次元パターンのみの画像を得、この画像
   を用いて上記被計測体の形状計測を行うようにした請求
   項５記載の３次元物体の形状計測装置。