JPH07181024A

JPH07181024A - ３次元形状計測方法および装置

Info

Publication number: JPH07181024A
Application number: JP5326941A
Authority: JP
Inventors: Toshiaki Kondo; 俊明近藤; Katsumi Iijima; 克己飯島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-12-24
Filing date: 1993-12-24
Publication date: 1995-07-18

Abstract

(57)【要約】【目的】単眼の画像センサのみを用いた場合であって
も、距離が急激に変化する領域でも高精度で測距できる
３次元形状計測方法および装置を提供する。【構成】画像入力部１０１に入力する複数枚の画像に対
してオプティカルフローを検出するオプティカルフロー
検出部１０２と、画像中のエッジ領域を抽出する画像領
域抽出部１０４と、オプティカルフローを利用し三角測
量の原理によって距離情報を算出する三角測量演算部１
０３とを設ける。また、画像の時間差分および空間勾配
の関係式と画像入力部１０１の自己運動情報とから、距
離情報を直接算出する直接法演算部１０５を設ける。直
接法演算部１０５では、エッジ領域を中心とした距離情
報を算出する。そしてこれら距離情報をデプスマップ合
成部１０６で統合し、デプスマップ出力部１０７から出
力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、２次元画像から３次元
の情報を求める方法に関し、特に、２次元画像から３次
元での位置情報、形状情報を得るための３次元形状計測
方法および装置に関する。

【０００２】

【従来の技術】自立走行車や自走ロボットなどの移動体
では、周囲環境、特に障害物がどこにあるかを認識する
ために、周囲の３次元情報を獲得する環境認識装置や障
害物認識装置が使用される。地形形状の測定やリモート
センシングを行なう場合には、２次元の画像データから
３次元での情報を求める必要がある。さらに、ＣＧ（コ
ンピュータグラフィクス）やＣＡＤ（コンピュータ支援
設計）のためのソリッドモデル作製においても、物体や
環境の基礎形状の入力ために、２次元画像から３次元の
情報を求めることが必要となる。

【０００３】ところで、３次元の形状情報を得るために
は、対象とする物体（被計測体）上の各点（物点）につ
いて、その点までの距離とその点への方位角とが得られ
ればよい。２次元画像を処理して３次元情報を得る場合
には、画像上の位置から方位角はすぐに定まるので、結
局、距離をいかに求めるかがポイントとなる。

【０００４】対象とする被計測体までの距離（形状）を
測定する方法は、被計測体に対して何らかのエネルギー
体（電磁波、音波など）を放射する能動的な手法と、被
計測体を撮像して得た画像信号を解析する受動的な手法
とに大別される。能動的な手法としては、電波、超音
波、光などの波動を被計測体に放射してそれが反射して
戻ってくるまでの伝播時間を測定し、距離を算出する手
法がある。さらに、能動的な手法に属し３次元形状を直
接求める方法として、適当な光源から規則的な模様を投
影して被計測体表面に人工的な模様を生じさせ、その幾
何学的な歪みから被計測体の形状を求める手法（例え
ば、モアレトポグラフィー）があり、広く利用されてい
る。

【０００５】一方、受動的な手法としては、複数の画像
センサを用いて得られる画像間の対応点の位置関係から
三角測量の原理に基づいて距離を測定する手法や、被計
測体表面が持つ模様の幾何学的な歪みから被計測体の立
体形状を推定する手法などがある。また、光学系を用い
て被計測体を撮影したときの焦点はずれ量から被計測体
までの距離を求める手法も試みられている。

【０００６】ここで、三角測量の原理に基づく測距方法
について、図１０を用いて説明する。ここでは、△ＡＢ
Ｃで表わされる物体（被計測体）９００を異なる２つの
位置（視点）Ｔ₁,Ｔ₂から撮影する場合について説明す
る。

【０００７】２視点Ｔ₁,Ｔ₂はそれぞれ撮像レンズ９０
１₁,９０１₂の光学中心と一致しており、２視点Ｔ₁,Ｔ₂
間の間隔を基線長Ｌという。またｆは各撮像レンズ９０
１₁,９０１₂の焦点距離である。物体９００の各頂点Ａ,
Ｂ,Ｃは、それぞれ、視点Ｔ₁側の画像９０２₁では撮像
レンズ９０１₁によって点Ａ',Ｂ',Ｃ'に投影され、視点
Ｔ₂側の画像９０２₂では撮像レンズ９０１₁によって点
Ａ",Ｂ",Ｃ"に投影されている。これら２枚の画像９０
２₁,９０２₂をそれらの投影中心Ｏ',Ｏ"が一致するよう
に重ねたとき、点Ａ'とＡ"といったような対応点は一般
には一致せず、

【０００８】

【外１】であらわされるような移動量をもって配置される。ここ
で、撮像レンズ９０１₁,９０１₂から物体までの距離Ｚ
が焦点距離ｆに対して十分に大きいとすれば、物体が結
像する面（結像面）は撮像レンズ９０１₁,９０１₂の焦
点面に一致するので、図１０に示された幾何学関係よ
り、

【０００９】

【数１】が成立し、これより

【００１０】

【数２】となる。ここで、Ｚ_A,Ｚ_B,Ｚ_Cは各点Ａ,Ｂ,Ｃまでの距
離であり、これによって、各点Ａ,Ｂ,Ｃまでの距離が演
算されたことになる。

【００１１】以上の原理に基づいて距離測定を行なう場
合、両方の画像９０２₁,９０２₂の中から対応点を抽出
しなければならない。画像処理によって対応点を抽出す
る方法としては、相関演算に基づく相互演算法やマッチ
ング法、あるいは画像の時間差分と空間勾配の演算式を
連立させる時空間勾配法や、時空間勾配法を周波数空間
で実現するフーリエ変換法などがあり、これらの方法
は、いずれも、複数の画素からなるブロックを単位とし
て行なわれる。

【００１２】ところで、対応点探索の結果、一方の画像
の点Ａ'が他方の画像の点Ａ"に対応することが分かった
場合、点Ａ'から点Ａ"に向かうベクトルを考えることが
できる。このベクトルは、画像中の各点について考える
ことができ、一方の画像中の各所がどのように移動した
結果、他方の画像になったかを示すものである。そこ
で、このベクトルの分布を考えることとし、この分布を
オプティカルフローと呼ぶことにする。また、画像中の
各点について、その点に対応する３次元空間内の点まで
の撮像レンズ側からの距離（デプス）が定まるので、画
像データと同様にこの距離データを２次元マトリクス内
に配列・格納することができる。このように距離データ
を２次元マトリクス内に配列させたものをデプスマップ
と呼ぶことにする。

【００１３】

【発明が解決しようとする課題】従来の能動的な手法に
よる測距方法では、超音波やレーザ光などのエネルギー
体を放出してその反射体を検出する必要があるため、エ
ネルギー体を吸収してしまうような物体を対象とするこ
とができず、また、生体への悪影響を考慮すると大強度
のレーザ光を人体に照射することができないなど、汎用
性にも乏しいという問題点がある。また、規則的な模様
を投影して形状を求める方法は、原理的に被計測体の相
対的な立体情報を把握するための手法であるので、被計
測体の絶対的な大きさや被計測体までの絶対的な距離を
求めることができないという問題点がある。

【００１４】一方、受動的な手法のうち被計測体表面の
模様の幾何学的なひずみから立体情報を抽出する方法
は、事前にその幾何学模様の性質が既知であることが必
要であり、かつ相対的な距離情報しか求められないの
で、その応用範囲が極めて狭い。また、画像の焦点はず
れによる測距方法では、正確な距離測定をするためには
焦点深度が浅い大口径の明るいレンズが必要で、通常の
ＴＶカメラレンズでは十分な精度が得られないという問
題がある。

【００１５】さらに、三角測量の原理に基づく測距方法
では、２つの画像間での対応点抽出を行なう必要がある
が、従来の方法では、複数の画素からなるブロックを単
位として対応点の探索を行なうので、解像度に限界があ
り、距離が急激に変化するような領域に対するシャープ
な測距を行なうことができないという問題点がある。こ
のような領域の測距を行なうために、ブロックサイズを
階層的にして解像度を向上させる方法のあるが、ブロッ
クサイズが小さくなるほど対応点探索の精度が劣化し、
かつ演算量が膨大になるなどの問題点が生じる。また、
三角測量の原理に基づく方法は、一般には基線長Ｌだけ
離れた２つの画像センサを必要とし、複数の撮像素子、
撮像系を必要とするので、小型で安価な測距装置を構成
するには不向きである。

【００１６】本発明の目的は、三角測量の原理に基づい
て距離を算出し形状の測定を行なう場合に、距離が急激
に変化する領域でも高精度で測距できる３次元形状計測
方法および装置を提供し、さらに、単一の画像センサの
みを用いて高精度に測距できる３次元形状計測方法およ
び装置を提供することにある。

【００１７】

【課題を解決するための手段】本発明の３次元形状計測
方法は、撮像手段を用い視点を変えて被計測体に関する
複数枚の画像を入力し、そののち、前記複数枚の画像か
ら前記画像間の動きを表わすオプティカルフローを求め
該オプティカルフローに基づいて距離情報を算出する第
１の測距工程と、前記画像の時間差分および空間勾配の
関係式と前記撮像手段の自己運動情報とから距離情報を
直接算出する第２の測距工程とを実施し、前記第１の測
距工程で得られる距離情報と前記第２の測距工程で得ら
れる距離情報とを統合して最終的な距離情報を得る。

【００１８】本発明の第１の３次元形状計測装置は、視
点を変えて被計測体についての複数枚の画像を入力する
画像入力手段と、前記複数枚の画像から前記画像間の動
きを表わすオプティカルフローを求め該オプティカルフ
ローに基づいて距離情報を算出する第１の測距手段と、
前記画像の時間差分および空間勾配の関係式と前記画像
入力手段の自己運動情報とから距離情報を直接算出する
第２の測距手段と、前記第１の測距手段から出力される
距離情報と前記第２の測距手段から出力される距離情報
とを統合して最終的な距離情報を出力する合成手段とを
有する。

【００１９】本発明の第２の３次元形状計測装置は、視
点を変えて被計測体の複数枚の画像を入力する画像入力
手段と、前記画像入力手段の移動量を検出する移動量検
出手段と、前記複数枚の画像と前記移動量とを用いて前
記被計測体までの距離を算出する画像処理手段とを有す
る。

【００２０】

【作用】本発明の３次元形状計測方法では、オプティカ
ルフローに基づいて距離情報を算出する第１の測距工程
と、画像の時間差分および空間勾配の関係式と撮像手段
の自己運動情報とから距離情報を直接算出する第２の測
距工程とを組み合わせて実施し、これら第１および第２
の測距工程で得られる距離情報を統合するので、物体
（被計測体）の境界領域、典型的にはエッジ領域におい
ても高精度で測距でき、高精度に３次元形状を計測する
ことができる。第１の測距工程は、典型的には、三角測
量の原理に基づいて行なわれる。一方、第２の測距工程
は、時空間勾配法の拘束式と撮像体（撮像手段）の自己
運動情報とを連立させ、被計測体までの距離を直接算出
する工程であり、以下、この原理に基づく測距方法を直
接法と呼ぶことにする。第１および第２の測距工程から
得られた距離情報を統合する場合、例えば、画像の特徴
に応じて統合時の各距離情報の参照割合を変えたり、オ
プティカルフローが変化する領域では第２の測距工程か
らの距離情報を優先させたりすることができる。

【００２１】本発明の第１の３次元形状計測装置は、複
数枚の画像から画像間の動きを表わすオプティカルフロ
ー求めオプティカルフローに基づいて距離情報を算出す
る第１の測距手段と、直接法によってすなわち画像の時
間差分および空間勾配の関係式と画像入力手段の自己運
動情報とから距離情報を直接算出する第２の測距手段
と、第１および第２の測距手段から出力される距離情報
を統合する合成手段とを有するので、物体（被計測体）
の境界領域、典型的にはエッジ領域においても高精度で
測距でき、高精度に３次元形状を計測することができ
る。第１および第２の測距手段から得られた距離情報を
統合する場合、例えば、画像の特徴に応じて統合時の各
距離情報の参照割合を変えたり、オプティカルフローが
変化する領域では第２の測距手段からの距離情報を優先
させたりすることができる。

【００２２】本発明の第２の３次元形状計測装置は、画
像入力手段の移動量を検出する移動量検出手段を有する
ので、小型化・軽量化が容易に達成でき、高精度での測
距が可能となる。移動量検出手段としては、慣性力を利
用した機械的なセンサであって画像入力手段に直接取り
付けられものや、磁気センサ、さらには計測者の体の動
きを検出することにより計測者に保持されている状態で
の画像入力手段の動きを検出するものを使用できる。計
測者の体の動きを検出するものとしては、超音波セン
サ、光ファイバセンサ、圧力センサなどが挙げられ、さ
らには計測者の筋電位を検出するようにしてもよい。

【００２３】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００２４】《第１実施例》図１は本発明の第１実施例
の３次元形状計測装置の構成を示すブロック図である。
この３次元形状計測装置は、本発明の３次元形状計測方
法に基づいて、測定対象物である被写体（被計測体）の
形状を計測するものであって、計測結果はデプスマップ
として出力されるようになっている。

【００２５】画像入力部１０１は、被計測体を画像デー
タとして取り込むものであり、被計測体を撮像してＡ／
Ｄ変換処理を行い、複数枚のデジタル画像データとして
画像メモリ（不図示）に蓄えて出力するように構成され
ている。複数枚の画像データを撮像する画像入力部１０
１は、移動機能のある単眼の撮像装置でもよいし、複数
の撮像装置（いわゆる複眼撮像装置も含む）からなって
いてもよい。いずれにせよ、各画像データそれぞれに対
する撮像位置を考えたときに、これら撮像位置間の相対
的な位置関係が明らかになっている必要がある。複数の
画像装置からなる場合には、それらの相対的な位置関係
が撮像位置の位置関係となる。また、移動機能を有する
単眼の撮像装置の場合には、時系列に撮像を行なうこと
になるので、各回の撮影を行なう間の移動量を測定する
ようにする。移動量の測定方法としては各種のものが考
えられるが、撮像装置が床上を移動するような場合に
は、車輪の回転量をモニタするなどすればよい。また、
後述の第４実施例、第５実施例に開示されたような方法
も適用できる。

【００２６】画像入力部１０１の出力側には、複数の画
像間での各所の対応関係を求めるオプティカルフロー検
出部１０２および入力された画像から特定の領域を抽出
する画像領域抽出部１０４が設けられており、オプティ
カルフロー検出部１０２の出力側には三角測量の原理に
従い被計測体までの距離を演算する三角測量演算部１０
３が設けられ、画像領域抽出部１０４の出力側には直接
法によって距離の算出を行なう直接法演算部１０５が設
けられている。さらに、三角測量演算部１０３による演
算結果と直接法演算部１０５の演算結果とを合成するデ
プスマップ合成部１０６と、合成されたデプスマップを
出力するデプスマップ出力部１０７が設けられている。

【００２７】オプティカルフロー検出部１０２は、画像
入力部１０１で取り込まれた複数の画像間（移動機能の
ある単眼の撮像装置で得られる時系列な画像間、あるい
は複数の撮像装置から得られる異なる視点で取り込まれ
た複数の画像間）で対応点を求める。対応点を探索する
手法として、相関演算に基づく相互相関法やブロックマ
ッチング法（＝テンプレートマッチング法）や、米国特
許第３,８９０,４６２号明細書あるいは特公昭６０−４
６８７８号公報に記載の時空間勾配法がある。マッチン
グ法に関しては、尾上守夫らにより、情報処理, Vol. 1
7, No. 7, pp.634〜640 (1976.7)で詳しく論じられてお
り、時空間勾配法については、BertholdK.P. HornとBri
an G. Schunckにより、Artifitial Intelligence, 17,
p.185〜203(1981)で詳しく論じられている。この他、時
空間勾配法を周波数空間で実現するフーリエ変換法も良
く知られている。これらの手法ではいずれも、複数の画
素からなるブロック単位で対応点の探索が行なわれる。
本実施例では、オプティカルフローの検出方法は、上述
したいずれの手法であってもよい。

【００２８】検出されたオプティカルフローは三角測量
演算部１０３に送られ、三角測量演算部１０３におい
て、公知の三角測量の原理に基き、対応点の求まった画
素に相当する物点（画像データ点に対応する３次元空間
内の点）までの距離が計測される。三角測量の原理に基
づいて距離を算出する場合、視点間の距離すなわち基線
長Ｌが必要となるが、基線長Ｌは、上述した撮像位置間
の相対的な位置関係に基づいて定めればよい。本実施例
では、三角測量による測距は、画像全域で等間隔に行な
われるようにする。

【００２９】一方、画像領域抽出部１０４は、画像デー
タから特定の領域を抽出するものであるが、本実施例で
は、撮像された画像からエッジを検出するように構成さ
れている。検出されたエッジの近傍の画像データは、後
段の直接法演算部３０ヘ送られる。ここで、図２を用い
てエッジ検出の１手法を説明する。

【００３０】図２(a)は画像の輝度分布の一例を示して
いる。このような輝度分布を示す画像データを位置に関
して１階微分を施すと、図２(b)に示すようなデータが
得られる。この１階微分データに対してさらに微分処理
を施し、画像輝度分布の２階微分値とした結果が図２
(c)に示されている。この２階微分値がゼロになる点を
ゼロクロシング点と呼び、エッジの位置を示すことが広
く知られている。

【００３１】直接法演算部１０４では、撮像体（撮像装
置）である画像入力部１０１の自己運動情報、具体的に
は自己運動パラメータと、時空間勾配法の拘束式を用い
て、画素ごとに被計測体までの距離を直接計測する。こ
こで撮像体の自己運動情報とは、上述した撮像位置の相
対的な位置関係のことである。以下に、直接法による距
離算出の原理を詳しく説明する。

【００３２】図３は、撮像体と撮像面の座標系との関係
を示している。原点Ｏは撮像体の光学中心の位置、すな
わち撮像レンズの主点の位置であり、軸ＯＺは光軸方向
になっている。ｘｙ平面は撮像面１９０を表している。
撮像面１９０上の点Ｐ_Oは、撮像面１９０の原点であ
る。撮像体の自己運動パラメータは並進運動と回転運動
からなり、それぞれＸ,Ｙ,Ｚの３軸に沿った並進運動
(Ｔ_x,Ｔ_y,Ｔ_z)と回転運動(Ｗ_x,Ｗ_y,Ｗ_z)と表記する。撮
像体がある運動(Ｔx_,Ｔ_y,Ｔ_z,Ｗ_x,Ｗ_y,Ｗ_z)をした時、
３次元空間のある静止物点Ｐ（Ｘ,Ｙ,Ｚ）は、原点Ｏか
らは、

【００３３】

【数３】と動いたように見える。ただし、ここでは回転運動
(Ｗ_x,Ｗ_y,Ｗ_z)の大きさは十分小さいと仮定した。と静
止した物点Ｐの撮像面１９０（ｘｙ平面）上での位置ｐ
(ｘ,ｙ)は、レンズの結像公式より、

【００３４】

【数４】と表される。ただし、Ｚ≫ｆ（ｆは撮像レンズの焦点距
離）とする。ここで、撮像面１９０上でのある点の移動
ベクトルを(ｕ,ｖ)とすると、

【００３５】

【数５】と書ける。そこで、式(3)〜(5)を用いて、以下のように
移動ベクトルと撮像体の自己運動パラメータの関係式を
導くことができる。

【００３６】

【数６】さらに、ここで時空間勾配法の拘束式

【００３７】

【数７】を導入する。ただし、Ｅは画像の輝度値であり、Ｅ_x,Ｅ
_y,Ｅ_tはそれぞれ、

【００３８】

【外２】である。式(6)を式(7)に代入して、

【００３９】

【数８】を得る。

【００４０】式(8)は画像の各点で成立し、撮像体の自
己運動パラメータが既知であれば、式(8)を用いて、各
画素ごとにオプティカルフローを求める中間的なステッ
プなしに、被計測体までの距離Ｚを直接求めることがで
きる。例えば、簡単のため単眼の撮像装置が水平方向
（Ｘ方向）に移動して２枚の画像を入力、あるいは水平
方法に配置された複眼の撮像装置を用いて２枚の画像を
入力したとする。この時の撮像体の運動パラメータはＴ
_xだけであるから、式(8)より

【００４１】

【数９】が得られる。画像のｘ方向の微分値と画像の時間差分値
さえ計算すれば、容易に当画素に対応する物点（被計測
体）までの距離Ｚを求めることができる。

【００４２】結局、三角測量演算部１０３は三角測量の
原理に基づいて各物点への距離情報を算出し、直接法演
算部１０５は上述した直接法に基づいて各物点までの距
離情報を算出する。このようにして求められた距離情報
は、デプスマップ合成部１０６で合成される。本実施例
では、上述したように、三角測量に基づく測距を画像全
域で等間隔に行ない、また画像のエッジ領域の距離（デ
プス）を直接法で求めた。したがってデプスマップ合成
部１０６は、オプティカルフローに基づいて得たデプス
マップに、直接法によって求められたデプスマップを内
挿するか、直接法で求めたエッジ周辺部のデプスを優先
的に選択、あるいは加重平均するなどの処理を取る。こ
のように合成されたデプスマップは、デプスマップ出力
部１０７から出力される。

【００４３】画像のエッジ近傍は、一般に距離が急激に
変化する場所であると考えられる。本実施例では、オプ
ティカルフローに基づく方法によって被計測体の概形を
求めた上で、距離（デプス）が急激に変化する部分に対
応するエッジ近傍では直接法でより高解像度に距離（デ
プス）を求めてデプスを合成しているので、オプティカ
ルフローに基づく方法（三角測量の原理に基づく方法）
では精度よく決定できない領域（距離が急激に変化する
領域）についても高精度で距離を求めることができ、全
体としての形状計測の精度が向上する。

【００４４】《第２実施例》次に、本発明の第２実施例
の３次元形状測定装置について、説明する。この実施例
は、画像全域にわたって、オプティカルフローに基づく
測距と直接法による測距を並列的に実行し、デプスマッ
プ合成時に、両手法により求まったデプスの加重平均な
いしは選択を画像の特徴に応じて行なうようにしたもの
である。図４は本発明の第２実施例の３次元形状計測装
置の構成を示すブロック図である。

【００４５】画像入力部１１０の出力側には、バンドパ
スフィルタ部１１１が設けられ、バンドパスフィルタ部
１１１の出力は、マッチング法演算部１１２、直接法演
算部１１３および第１の１階微分演算部１１４に入力す
る。マッチング法演算部１１２の出力側には三角測量演
算部１１６が設けられ、三角測量演算部１１６、直接法
演算部１１３および第１の１階微分演算部１１４の各出
力が入力するデプスマップ合成部１１７が設けられてい
る。第１の１階微分演算部１１４の出力は第２の１階微
分演算部１１５にも入力しており、第１の１階微分演算
部１１５の出力もデプスマップ合成部１１７に入力して
いる。デプスマップ合成部１１７は、第１および第２の
１階微分演算部１１４,１１５の出力に応じ、三角測量
演算部１１６で求められたデプスと直接法演算部１１３
で求められたデプスとをデプスマップとして合成するも
のである。合成されたデプスマップは、デプスマップ出
力部１１８を介して外部に出力されるようになってい
る。

【００４６】画像入力部１１０、直接法演算部１１３お
よび三角測量演算部１１６は、それぞれ、第１実施例
（図１）の画像入力部１００、直接法演算部１０５およ
び三角測量演算部１０３と同じ処理を行なうように構成
されている。バンドパスフィルタ部１１１は、画像デー
タの中から、対応点検出に無用な低周波領域、高周波領
域を除去するためのものである。マッチング演算部１１
２は、マッチング法によって対応点探索を行なうもので
あり、画像をブロックに分割して、２つの画像信号ｇ
₀(ｘ,ｙ)，ｇ₁(ｘ,ｙ)が最も類似した領域をブロック単
位に探索する。具体的には、

【００４７】

【数１０】のように、画像の差分の絶対値和［式(10)］、あるいは
画像の差分の絶対値和の自乗［式(11)］を評価関数とし
て、この評価関数の値が最小となる変位量(ξ,η)を演
算する。ここで添字Ｂはブロックを示している。ブロッ
クサイズは、目的に応じ、精度と分解能とのトレードオ
フを考慮して決定する。１階微分処理部１１４,１１５
は、それぞれ入力信号に対して１階微分処理を施すもの
である。第１の１階微分処理部１１４には画像信号が入
力しているのでその出力は画像信号の１階微分値とな
り、第２の１階微分処理部１１５には画像信号の１階微
分値が入力しているのでその出力は画像信号の２階微分
値となる。

【００４８】次に、デプスマップ合成部１１７につい
て、詳しく説明する。上述のようにデプスマップ合成部
１１７は、三角測量演算部１１６と直接法演算部１１３
でそれぞれ求められたデプスを合成する。合成する際に
どちらのデプスを優先させるかは、１階微分演算部１１
４,１１５の出力値を手掛かりとして決められる。その
原理を図５を用いて説明する。

【００４９】図５の太線は画像の輝度分布の一例を示し
ており、バンドパスフィルタ部１１０の働きにより、輝
度は周期的に増減を繰り返している。図５中、横に長い
楕円で囲った領域は、１階微分値が小さい領域であり、
画像輝度分布の屈曲点を指している。一方、同図中、長
方形で囲った領域は２階微分値が小さい領域であり、第
１実施例で説明したゼロクロシング点の周辺の領域を指
している。画像輝度分布の屈曲点は、一般に、マッチン
グ演算の精度が高い領域であり、ゼロクロシング点近傍
の領域は直接法の精度が高い領域である。そこでデプス
マップ合成部１１６は、各１階微分演算部１１４,１１
５の出力値を参照して、１階微分値の小さい領域ではマ
ッチング演算と三角測量に基づくデプスを選択あるいは
優先的に用い、２階微分値の小さい領域では直接法によ
って求まったデプスを選択あるいは優先的に採用する。
中間領域では、両手法によるデプスの平均をとってもよ
いし、あるいは１階微分値および２階微分値に対するし
きい値を予め定めておいていずれかのデプスが選択され
るようにしてもよい。このようにして合成されたデプス
マップは、デプスマップ出力部１１７より出力される。

【００５０】《第３実施例》次に、本発明の第３実施例
の３次元形状測定装置について、説明する。この実施例
は、まず入力画像を用いて画像全域でオプティカルフロ
ーを検出し、その後、検出されたオプティカルフローの
分布から物体の境界領域を検出し、境界領域に関しては
直接法でデプスを求めて、既にオプティカルフローに基
づく手法で求まっているデプスに直接法で求めたデプス
を内挿していくものである。図６は、本実施例の３次元
形状計測装置の構成を示すブロック図である。

【００５１】画像入力部１２０の出力は、オプティカル
フロー検出部１２１と画像領域抽出部１２３に入力し、
オプティカルフロー検出部１２１の出力側には三角測量
演算部１２２が設けられている。オプティカルフロー検
出部１２１の出力は、画像領域抽出部１２３にも入力し
ている。画像領域抽出部１２３の出力側には直接法演算
部１２４が設けられており、さらに、三角測量演算部１
２２と直接法演算部１２４でそれぞれ求められたデプス
が入力するデプスマップ合成部１２５が設けられてい
る。デプスマップ合成部１２５で求められたデプスマッ
プはデプスマップ出力部１２６から出力されるようにな
っている。画像入力部１２０、オプティカルフロー検出
部１２１、三角測量演算部１２２、直接法演算部１２４
およびデプスマップ出力部１２６は、それぞれ、第１実
施例（図１）の画像入力部１０１、オプティカルフロー
検出部１０２、三角測量演算部１０３、直接法演算部１
０５およびデプスマップ出力部１０７と同様のものであ
る。

【００５２】画像領域抽出部１２３は、オプティカルフ
ロー検出部１２１の出力結果を用いて、被計測体のエッ
ジ部すなわちデプスが急激に変化する領域を抽出する。
具体的には、オプティカルフローを(ｕ,ｖ)として

【００５３】

【数１１】のような評価関数ｆを定め、この値が一定値を越える領
域を抽出する。これに対しデプスマップ合成部１２５
は、オプティカルフローと三角測量に基づく手法で求ま
ったデプスマップに対し、直接法で求まったデプスを内
挿するかあるいは加重平均を行なうことにより、デプス
マップの合成を実行する。なお、評価関数ｆに対するし
きい値を複数設け、評価関数ｆの値に応じて直接法の比
重を段階的に変化させるようにしてもよい。合成された
デプスマップはデプスマップ出力部１２６より出力され
る。

【００５４】《第４実施例》次に、本発明の第４実施例
の３次元形状計測装置について説明する。この３次元形
状測定装置は、画像入力部の移動量を検出する移動量検
出部を備えている。図７は本実施例の３次元形状計測装
置の構成を示すブロック図である。

【００５５】被計測体を画像データとして取り込む画像
入力部２００には、被計測体を撮像するためのレンズ２
０１と、ＣＣＤなどの撮像素子２０２と、撮像素子２０
２からの出力信号を保持するサンプル／ホールド回路２
０３と、サンプル／ホールド回路２０３から出力される
画像信号に対して自動利得制御（オートゲインコントロ
ール）を行なうＡＧＣ回路２０４と、ＡＧＣ回路２０４
の出力側に設けられたＡ／Ｄ（アナログ−デジタル）変
換器２０５とによって構成されている。撮像素子２０２
としては、ＣＣＤ以外のものも使用することができる。
Ａ／Ｄ変換器２０５の出力は、時系列な画像データとし
て、後述する画像処理部２３０に供給されている。ま
た、画像入力部２００には、画像入力部２００の移動量
を検出するための移動量検出部２２０が、機械的に取り
付けられ固定されている。移動量検出部２２０には、例
えば振動ジャイロスコープのような角速度センサ２２１
と、角速度センサ２２１で検出された角速度値から画像
入力部２００の移動量を算出する移動量算出回路２２２
とが設けられている。移動量算出回路２２２の出力は、
画像処理部２３０に供給されている。

【００５６】画像処理部２３０は、画像信号処理によっ
て被計測体までの距離を算出するものであり、画像デー
タを一定時間保持する画像メモリ２３１と、現在の画像
データと画像メモリ２３１に保持された一定時間前の画
像データとの間の演算から画像中の対応点を探索する対
応点探索回路２３２と、対応点探索の結果に応じ被計測
体までの距離を演算する距離演算回路２３３とによって
構成されている。距離演算回路２３３は、三角測量の原
理に基づいて距離の演算を行なうものであり、移動量算
出回路２２２から出力される移動量値を基線長として、
距離の演算を行なうように構成されている。距離演算回
路２２３で計算された距離データは、出力端子２４０を
介して外部に出力される。

【００５７】次に、この３次元形状測定装置の動作を説
明する。レンズ２０１は被撮像体を撮像素子２０２に結
像し、撮像素子２０２は被計測体の像を光電変換して画
像信号として出力し、この出力はサンプル／ホールド回
路２０３に保持される。ＡＧＣ回路２０４は自動的に画
像信号の利得を制御し、利得制御された画像信号はＡ／
Ｄ変換器２０５によってアナログ信号からデジタル信号
に変換される。したがって、画像処理部２３０には、デ
ジタル画像が入力する。一方、画像入力部２００に対し
て固定されている移動量検出部２２０では、角速度セン
サ２２１によって、画像入力部２００の動き（角速度）
が逐一検出されており、移動量算出回路２２２では、角
速度センサ２２１によって検出された角速度から、画像
入力部２００の移動量が算出される。

【００５８】画像処理部２３０において、画像データは
画像メモリ２３１内に一定時間記憶され、これによって
時系列な画像間での演算が可能となる。対応点探索回路
２３２は、Ａ／Ｄ変換器２０５から直接入力する現在の
画像と、画像メモリ２３１内に記憶されている一定時間
前の画像とを対象として、対応点探索を行なう。対応点
探索の方法としては、第１実施例で述べたように、時空
間勾配法、相関法あるいはブロックマッチング法などが
あり、これらのいずれの方法も使用することができる。
対応点探索が行なわれると、その結果は距離演算回路２
３３に入力する。距離演算回路２３３では、移動量算出
回路２２２で算出された画像入力部２００の移動量を基
線長Ｌとして、「従来の技術」欄で述べた三角測量の原
理に基づく方法によって、画素ごとのデプスを求め、画
素ごとに３次元形状が決定される。なお、画像中心が一
致するように両方の画像を重ね合わせた場合の２つの画
像間での対応点の移動量は、対応点探索回路２３２によ
って求められている。したがって、被計測体に対してこ
の３次元形状計測装置を平行に移動させながら複数の画
像を入力させることにより、ただちにその被計測体の立
体形状を計測することができる。

【００５９】図８は、本実施例の３次元形状計測装置を
用いて実際に周辺環境の立体情報を取り込んでいるとこ
ろを示す概略図である。計測者２７０は、本実施例の３
次元形状計測装置２５０に取り付けられたグリップ２６
０をつかみ、腕を伸ばして肩を中心にしてこの３次元形
状計測装置２５０を被計測体（不図示）に対して平行に
走査し、この被計測体を撮影している。グリップ２６０
は、３次元形状計測装置２５０を安定してホールドする
ためのものである。

【００６０】計測者２７０が３次元形状計測装置２５０
に取り込ませる画像の枚数は、画像メモリ２３１の容量
で決まる。画像入力部２００としていわゆる電子スチル
ビデオカメラを使用する場合には、画像を取り込むタイ
ミングを計測者２７０がボタン等で任意に選んでも良い
し、角速度センサ２２１の出力を利用して腕の振りの開
始と終了、あるいは計測者２７０が安定して腕を動かし
ている期間を検出して、これをトリガとして撮像を実行
することもできる。また、事前に基線長Ｌと取り込む画
像の数Ｎを指定しておき、間隔ＬごとにＮ枚、被計測体
の画像を入力してもよい。もちろん、画像入力部２００
として、通常のＴＶカメラを使用することもできる。通
常のＴＶカメラを使用する場合には、テレビレートで時
系列な画像を多数枚取り込むことも可能であり、対応点
を抽出するための画像の組を自由に選ベるので、多数の
画像の組み合わせで求まる距離情報を統合してさらに高
精度な情報を得ることも可能である。ここでは、計測者
（撮影者）２７０が被計測体に対して３次元形状計測装
置２５０を走査する方向は特に定められたものではな
く、例えば水平方向でも垂直方向でも斜め方向でもよ
く、目的に応じてこの方向を決定すればよい。

【００６１】ところで、本実施例では、３次元形状計測
装置が計測者の肩を中心に腕の長さを半径とした円弧運
動をするので、円弧運動ではなく平行に撮影したように
基線長と画像を補正することが望ましい。ここで、図８
を用いて補正処理の概要を説明する。

【００６２】図８は、計測者によって３次元形状計測装
置２５０を水平方向に走査しながら撮影したときの、そ
の３次元形状計測装置２５０の運動軌跡を上から見た図
である。原点Ｏは計測者の肩の位置、すなわち３次元形
状計測装置２５０の円弧運動の中心である。ａは撮影者
の腕の長さ、θ（ラジアン単位）は撮影範囲角、ｓは移
動量検出部２２０で求められた３次元形状計測装置２５
０の移動量、Ｌは平行撮影時の基線長である。撮影者の
腕の長さａが事前に与えられていれば、基線長Ｌは下式
で求まる。

【００６３】

【数１２】ここで、

【００６４】

【数１３】である。したがって、このようにして求められた基線長
Ｌによって基線長の補正を行なえばよい。一方、画像の
補正は、撮影時の角度に応じて発生する台形歪みの幾何
学的な補正と、平行撮影の軌跡と円弧運動の軌跡の間に
生じる被計測体までの距離の差に応じて発生する倍率の
幾何学的な補正からなる。

【００６５】《第５実施例》第４実施例では、慣性力を
利用した機械センサである角速度センサを使用し、画像
入力部の移動量を直接検出した。しかし、本発明におい
て画像入力部の移動量の計測方法は、これに限られるも
のではなく、何らかの手段で計測者の動きを計測して、
これより画像入力部（撮像装置）の移動量を割り出して
もよい。

【００６６】計測者の動きを検出する方法として、磁
気センサを用いる方法、超音波センサを用いる方法、
光ファイバセンサを用いる方法、圧力センサを用い
る方法などがあり、より直接的に計測者の動きを検出す
る方法として、計測者の筋電位を測定する方法があ
る。以下、計測者の動きを検出するこれらの方法につい
て説明する。

【００６７】磁気センサを用いる方法は、電磁コイルか
らなるセンサを計測者に付着させておき、さらに空間内
に磁界を張っておき、この磁界内を電磁コイルが移動す
るときに発生する誘導電流から空間内の位置や角度を求
めようとする方法である。画像入力部自体に磁気センサ
を配することも可能である。

【００６８】また、超音波センサは、超音波の発信源と
検出部のペアからなり超音波の伝播時間で測距するもの
である。超音波センサを用いる方法では、例えば計測者
の頭部と腕の先にこの超音波センサのペアを固定するこ
とにより、腕の動きを検出することができる。

【００６９】光ファイバセンサは、光ファイバを通過す
る光量が、その光ファイバの屈曲に応じて減衰すること
を利用している。光ファイバセンサを用いる方法は、光
ファイバを計測者の体に取り付けるか、あるいは光ファ
イバをめぐらしたボディスーツを計測者の身につけ、計
測者の動きに応じて減衰した光量を検出することによ
り、計測者の動きを計測する。

【００７０】圧力センサを用いる方法では、圧力センサ
として、例えば、感圧導電インキを使用したものを利用
できる。感圧導電インキは、圧力が加わると電気抵抗が
変化するインキであり、この方法では、上述の光ファイ
バセンサの場合と同様に、この圧力センサを計測者の体
に密着させて、計測者の動きを計測する。

【００７１】計測者の筋電位を測定する方法では、計測
者の筋肉に電極を取り付け、撮影（計測）中の腕の動き
に応じて発生する筋電位の変化を検出して、これより撮
像装置の移動量を求める。

【００７２】

【発明の効果】以上説明したように本発明の３次元形状
計測方法は、オプティカルフローに基づく手法と直接法
を適応的に組み合わせることにより、物体の境界域でも
鈍らずに高精度に測距できるという効果がある。また本
発明の第１の３次元形状計測装置は、オプティカルフロ
ーに基づく手法と直接法を適応的に組み合わせることに
より、物体の境界域でも鈍らずに高精度に測距できると
いう効果がある。さらに本発明の第２の３次元形状測定
装置は、画像入力手段の移動量を自動的に検出する移動
量検出手段を設けることにより、従来大規模になりがち
だった３次元形状測定装置を小型・軽量化でき、３次元
情報の取り込みが容易に実現でき、さらに高精度での測
定が可能になるという効果がある。

【図面の簡単な説明】

【図１】第１実施例の３次元形状計測装置の構成を示す
ブロック図である。

【図２】(a)〜(c)はそれぞれエッジ抽出の原理を説明す
る図である。

【図３】３次元空間での撮像体の各運動パラメータを説
明する図である。

【図４】第２実施例の３次元形状計測装置の構成を示す
ブロック図である。

【図５】画像の処理方法についての領域分けを示す図で
ある。

【図６】第３実施例の３次元形状計測装置の構成を示す
ブロック図である。

【図７】第４実施例の３次元形状計測装置の構成を示す
ブロック図である。

【図８】第４実施例における３次元形状測定の実行方法
を説明する図である。

【図９】補正処理を説明する図である。

【図１０】三角測量の原理に基づく距離測定を説明する
図である。

【符号の説明】

１０１,１１０,１２０,２００画像入力部１０２,１２１オプティカルフロー検出部１０３,１１６,１２２三角測量演算部１０４,１２３画像領域抽出部１０５,１１３,１２４直接法演算部１０６,１１７,１２５デプスマップ合成部１０７,１１８,１２６デプスマップ出力部１１１バンドパスフィルタ部１１２マッチング法演算部１１４,１１５１階微分演算部２０１レンズ２０２ＣＣＤ２０３サンプル／ホールド回路２０４ＡＧＣ回路２０５Ａ／Ｄ変換器２２０移動量検出部２２１角速度センサ２２２移動量算出回路２３０画像処理部２３１画像メモリ２３２対応点探索回路２３３距離演算回路２４０出力端子

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 7/00 7/60

Claims

【特許請求の範囲】

【請求項１】被計測体の３次元形状を計測する３次元
形状計測方法において、撮像手段を用い視点を変えて前記被計測体に関する複数
枚の画像を入力し、そののち、前記複数枚の画像から前記画像間の動きを表
わすオプティカルフローを求め該オプティカルフローに
基づいて距離情報を算出する第１の測距工程と、前記画
像の時間差分および空間勾配の関係式と前記撮像手段の
自己運動情報とから距離情報を直接算出する第２の測距
工程とを実施し、前記第１の測距工程で得られる距離情報と前記第２の測
距工程で得られる距離情報とを統合して最終的な距離情
報を得ることを特徴とする３次元形状計測方法。
【請求項２】前記第１の測距工程によって前記被計測
体の概形を求め、前記第２の測距工程によって前記被計
測体のエッジ近傍に対する距離情報を求める請求項１に
記載の３次元形状計測方法。
【請求項３】オプティカルフローの分布が変化する領
域を前記画像中から抽出する工程をさらに有し、前記第
２の測距工程によって前記領域に対する距離情報を優先
的に算出して前記第１の測距工程による距離情報と統合
する請求項１に記載の３次元形状計測方法。
【請求項４】前記第１の測距工程による距離情報と前
記第２の測距工程による距離情報とを統合する際に、前
記画像の特徴に応じて、前記各距離情報の参照割合を変
化させる請求項１に記載の３次元形状計測方法。
【請求項５】前記画像の特徴として前記画像の輝度分
布の微分値を使用する請求項４に記載の３次元形状計測
方法。
【請求項６】前記第１の測距工程が、三角測量の原理
に基づき前記オプティカルフローから距離情報を算出す
る工程である請求項１ないし５いずれか１項に記載の３
次元形状計測方法。
【請求項７】被計測体の３次元形状を計測する３次元
形状計測装置において、視点を変えて前記被計測体の複
数枚の画像を入力する画像入力手段と、前記複数枚の画
像から前記画像間の動きを表わすオプティカルフロー求
め該オプティカルフローに基づいて距離情報を算出する
第１の測距手段と、前記画像の時間差分および空間勾配
の関係式と前記画像入力手段の自己運動情報とから距離
情報を直接算出する第２の測距手段と、前記第１の測距
手段から出力される距離情報と前記第２の測距手段から
出力される距離情報とを統合して最終的な距離情報を出
力する合成手段とを有することを特徴とする３次元形状
計測装置。
【請求項８】前記第１の測距手段が、前記オプティカ
ルフローを検出するオプティカルフロー検出手段と、検
出されたオプティカルフローを用い三角測量の原理に基
づいて距離情報を算出する三角測量演算手段とからなる
請求項７に記載の３次元形状計測装置。
【請求項９】前記画像の中からエッジ領域を抽出する
画像領域抽出手段をさらに有し、前記エッジ領域に関し
て前記第２の測距手段によって距離情報が算出される請
求項７または８に記載の３次元形状計測装置。
【請求項１０】前記オプティカルフロー検出手段の出
力を受けてオプティカルフローの分布が変化する領域を
前記画像中から抽出する画像領域抽出手段をさらに有
し、前記抽出された領域に関して前記第２の測距手段に
よって距離情報が算出される請求項８に記載の３次元形
状計測装置。
【請求項１１】前記画像の特徴を検出する特徴検出手
段をさらに有し、前記合成手段が、前記画像の特徴に応
じて、前記第１の測距手段による距離情報と前記第２の
測距手段による距離情報との参照割合を変化させて距離
情報の統合を行なう請求項７または８に記載の３次元形
状測定装置。
【請求項１２】前記特徴検出手段が画像の輝度分布の
微分値を算出するものである請求項１１に記載の３次元
形状測定装置。
【請求項１３】被計測体の３次元形状を計測する３次
元形状計測装置において、視点を変えて前記被計測体の
複数枚の画像を入力する画像入力手段と、前記画像入力
手段の移動量を検出する移動量検出手段と、前記複数枚
の画像と前記移動量とを用いて前記被計測体までの距離
を算出する画像処理手段とを有することを特徴とする３
次元形状測定装置。
【請求項１４】前記移動量検出手段が、慣性力を利用
する機械的センサであって、前記画像入力手段に対して
固定されている請求項１３に記載の３次元形状測定装
置。
【請求項１５】前記移動量検出手段が、磁気センサで
ある請求項１３に記載の３次元形状測定装置。
【請求項１６】前記移動量検出手段が、前記画像入
力手段を保持して移動させる計測者の動きを検出するこ
とによって、前記画像入力手段の動きを検出するもので
ある請求項１３に記載の３次元形状測定装置。
【請求項１７】前記移動量検出手段が超音波センサで
ある請求項１６に記載の３次元形状測定装置。
【請求項１８】前記移動量検出手段が光ファイバセ
ンサである請求項１６に記載の３次元形状測定装置。
【請求項１９】前記移動量検出手段が圧力センサで
ある請求項１６に記載の３次元形状測定装置。
【請求項２０】前記移動量検出手段が、前記計測者
の筋電位を検出する筋電位検出手段である請求項１６に
記載の３次元形状測定装置。