JPH07160893A

JPH07160893A - ３次元形状復元方法

Info

Publication number: JPH07160893A
Application number: JP5341859A
Authority: JP
Inventors: Katsuyuki Tanaka; 勝之田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-12-13
Filing date: 1993-12-13
Publication date: 1995-06-23

Abstract

(57)【要約】【目的】本発明は視点を移動する前後の画像から撮影対
象である物体の対応点を正確に求めることができる３次
元形状復元方法を提案する。【構成】撮像手段を少しづつ動かしながら同一物体を順
次撮影し、順次得られる時系列画像について物体のエツ
ジ画像を検出する。この後、前時点までに復元された物
体の３次元情報と現時点の画像から検出されたエツジ画
像とに基づいて前時点と現時点との間に生じた撮像手段
の移動量を推定する。続いて推定結果から物体のエツジ
画像と物体の３次元情報との対応点を全エツジについて
包括的に求める。このように全エツジについて包括的に
対応関係を求めることにより、個々独立に対応点を特定
する従来の方法に比して誤対応のおそれを低減すること
ができる。この結果、復元される３次元情報の信頼性を
一段と高めることができる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。産業上の利用分野従来の技術（図８及び図９）発明が解決しようとする課題（図１０〜図１２）課題を解決するための手段（図７）作用（図５）実施例（図１〜図７）（１）復元原理（図１〜図５）（１−１）カメラ移動と視差との関係（図１）（１−２）３次元情報の復元（図２〜図５）（１−２−１）原理（図２）（１−２−２）３次元情報の復元方法（図３〜図５）（２）運動パラメータ推定方法を導入した３次元情報復
元システム（２−１）システム構成（図６）（２−２）復元処理（図７）（３）他の実施例発明の効果

【０００２】

【産業上の利用分野】本発明は３次元形状復元方法に関
し、特に同一の物体を異なる位置から撮影して得られる
時系列画像から被写体の３次元形状を復元する方法に適
用して好適なものである。

【０００３】

【従来の技術】従来、この種の復元方法としては、ステ
レオマツチング法が用いられている。ステレオマツチン
グ法は三角測量の原理に基づいて三次元形状を復元する
方法である。この方法の概要を図８及び図９を用いて説
明する。まず図８に示すように同一対象物を異なる位置
Ａ及びＢから撮像し、図９に示すような２枚の画像を得
る。続いて各画像から対応点Ｐを求め、この対応点の位
置ずれ量（視差）から形状を復元するのである。基本的
な原理は３枚以上の画像を用いる場合にも同じである。

【０００４】

【発明が解決しようとする課題】ところでこのとき問題
となるのは２枚又は複数枚の画像から対応点をどのよう
にして求めるかである。通常は物体像を構成する各画素
について局所的な特徴量（例えば輝度やその微分値等）
との一致度が高い画素を対応点として他方の画像から探
す方法が用いられている。

【０００５】ところがこの方法では各画素について対応
点を独立に探索するか、せいぜい近傍画素との連続性を
考慮する程度である。このため誤対応が生じ易く、画像
全体について矛盾を生じさせることなく対応点を求める
ことができなかつた。

【０００６】例えば図１０及び図１１に示すように、カ
メラの移動が平行移動のみであり（すなわち回転移動は
含まない）、かつその際におけるカメラの移動範囲がカ
メラの光軸と直交する面内に限られる場合には、対応点
がカメラの移動方向と平行な線上に存在し、加えて物体
像の回転やサイズの変化も問題とならないので比較的容
易に物体像をマツチングすることができる。

【０００７】しかしカメラの移動に回転や奥行き方向へ
の平行移動が含まれる場合には、物体像の回転やサイズ
の変化が生じるため単純なマツチングでは対応点を決定
できない問題があつた。またカメラの移動に回転や奥行
き方向への平行移動が含まれない場合でも、図１２に示
すように、カメラの移動方向と平行な方向に伸びるエツ
ジについては局所的な特徴量の差がないためマツチング
による対応付けが困難であつた。

【０００８】本発明は以上の点を考慮してなされたもの
で、撮像時におけるカメラの移動方向や移動の種類によ
らず撮影された画像から物体の３次元形状を正確に復元
することができる３次元形状復元方法を提案しようとす
るものである。

【０００９】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、撮像手段１を少しづつ動かしなが
ら同一物体を順次撮影し、順次得られる時系列画像（ｍ
＝１、２……）に基づいて３次元情報を復元する３次元
形状復元方法において、時系列画像を構成する新たな画
像が得られるごとに画像中から物体のエツジ画像を検出
する処理（ステツプＳＰ７）と、前時点までに復元され
た物体の３次元情報と現時点の画像から検出されたエツ
ジ画像とに基づいて前時点と現時点との間に生じた撮像
手段１の移動量を推定する処理（ステツプＳＰ８）と、
推定結果に基づき全エツジについて、エツジ画像と３次
元情報との対応点を包括的に求める処理と、対応点に基
づいて３次元情報を新たな値に更新する処理（ステツプ
ＳＰ１０、ＳＰ１１）とを設けるようにする。

【００１０】

【作用】撮影画像から検出した物体のエツジ画像を用い
て前時点と現時点との間に生じた撮像手段１の移動量を
推定し、推定結果から物体のエツジ画像と物体の３次元
情報との対応点を全エツジについて包括的に求める。こ
のように全エツジについて包括的な対応関係を求めるこ
とにより、個々独立に対応関係を求めていた従来の方法
に比して誤対応のおそれを低減でき、３次元情報の信頼
性を一段と高めることができる。

【００１１】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１２】（１）復元原理（１−１）カメラ移動と視差との関係この実施例の復元方法は、画像間における物体像の変化
があまり大きくならないようにカメラを少しずつ移動さ
せて物体を撮像し、このとき得られる時系列のエツジ画
像（以下、時系列エツジ画像という）から物体の３次元
位置情報を獲得するものとする。この様子を図１を用い
て説明する。

【００１３】図１は空間上の点Ｐを２つの異なる視点か
ら撮影する際のカメラ座標系ＸＹＺとＸ’Ｙ’Ｚ’との
関係を表している。２つのカメラ座標系ＸＹＺとＸ’
Ｙ’Ｚ’の関係はグローバル座標系内における平行移動
と回転移動とによつて表すことができる。因にグローバ
ル座標系のＸ軸は床面に対して水平になるように定義さ
れており、Ｙ軸は床面に対して垂直になるように定義さ
れている。またカメラ座標系の原点はレンズの中心に一
致しており、レンズの光軸はＺ軸方向と一致するものと
する。

【００１４】この例の場合、投影面であるｘｙ平面はカ
メラ座標系におけるＸＹ平面と平行であり、焦点距離ｆ
だけレンズの中心から離れている。さらに投影面の座標
原点はカメラ座標系のＺ（Ｚ’）軸とｘｙ（ｘ’ｙ’）
平面との交点に一致し、またｘ軸（ｘ’軸）及びｙ軸
（ｙ’軸）はそれぞれＸ軸及びＹ軸（Ｘ’軸及びＹ’
軸）と平行であるものとする。また２つのカメラ座標系
から見た点Ｐの座標をｐ＝（Ｘ，Ｙ，Ｚ）及びｐ’＝
（Ｘ’，Ｙ’，Ｚ’）とし、投影面上に投影された各投
影点ｑ及びｑ’の座標をｑ＝（ｘ，ｙ）及びｑ’＝
（ｘ’,ｙ’）とする。

【００１５】すると投影点ｑ及びｑ’の座標はそれぞれ
点Ｐの３次元座標を用いて、次式

【数１】

【数２】と表すことができる。

【００１６】このときＸ’Ｙ’Ｚ’座標系とＸＹＺ座標
系との関係は、ＸＹＺ座標系の原点をＸ’Ｙ’Ｚ’座標
系の原点へ平行移動するベクトルｔ_v（以下、ベクトル
をvの添字を付して表す）と座標系を回転移動する行列
Ｒとによつて与えることができる。

【００１７】すなわちＸ’Ｙ’Ｚ’座標系から見た点Ｐ
の座標ｐ’はＸＹＺ座標系から見た座標ｐは、次式

【数３】によつて表すことができる。

【００１８】この座標系の回転にはＹ軸についての回転
φ（方位角）とＸ軸についての回転θ（仰角）とがあ
る。因に移動後における投影点ｑと移動前における投影
点ｑ'_vとの間には視差ｄ_v（＝ｑ_v−ｑ' _v）があ
り、視差ｄ_vは各座標系の位置や向き及び点Ｐの位置に
応じて定まる。

【００１９】ここで点Ｐの３次元空間における奥行き距
離Ｚは行列Ｒの逆行列Ｒ^-1を、次式

【数４】として計算する。因にＴは行列の転置を表す。

【００２０】すなわちカメラ座標系がＸＹＺ座標系から
Ｘ’Ｙ’Ｚ’座標系に移動した後の投影点ｑ’の座標
（ｘ’，ｙ’）は移動前における投影点ｑの座標（ｘ，
ｙ）を用いて、次式

【数５】のように表すことができる。ただしｓ_v＝（ｘ，ｙ，
ｆ）である。

【００２１】従つて（５）式を変形すると、ＸＹＺ座標
系から見た点Ｐの奥行き距離Ｚは、次式

【数６】として求めることができる。

【００２２】このように点Ｐの３次元空間での奥行き距
離Ｚは、ＸＹＺ座標系で撮影した場合の投影点ｑに対応
する座標系Ｘ’Ｙ’Ｚ’の投影点ｑ’を探索することに
よつて求めることができる。この奥行き距離Ｚを用いれ
ば点Ｐの３次元座標（Ｘ，Ｙ，Ｚ）は（１）式より容易
に求めることができる。

【００２３】（１−２）３次元情報の復元（１−２−１）原理本実施例では、時系列画像から物体の３次元情報を獲得
する過程に運動パラメータの推定手法を導入し、全エツ
ジを対象とした包括的な対応点の探索処理により３次元
情報の復元精度を高めるようになされている。この包括
的な対応点の探索処理を実現するため、本実施例ではカ
メラ１を少しずつ移動させながら物体を撮影し、時系列
画像を求める。この様子を図２に示す。因に物体は剛体
と仮定する。本実施例では新しい画像が得られるごとに
３次元情報を逐次更新することにより最終的に求められ
る物体の３次元情報の精度を高めている。

【００２４】（１−２−２）３次元情報の復元方法以下、運動パラメータの推定を用いた対応点の探索につ
いて述べる。運動パラメータの推定とは、物体の３次元
情報とその物体を適当な位置で撮影した画像とがあると
したとき、撮影時におけるカメラと物体との相対的な位
置関係を推定する方法である。この実施例では対応点探
索前の段階（すなわちカメラ１を移動する前の段階）で
撮影された画像から計算される３次元情報を物体の３次
元情報として用いる。

【００２５】カメラ移動前における物体の３次元情報は
Ｎ個の位置情報ｐ_n＝（Ｘ_n，Ｙ_n，Ｚ_n）（ｎ＝１〜
Ｎ）によつて構成されるものとする。ここでは移動後の
カメラ座標系から見た物体の３次元情報は、相対的に座
標軸がＸ軸周りにΔω_x、Ｙ軸周りにΔω_Y及びＺ軸周
りにΔω_Zだけ回転し、かつ座標系の原点がΔｔ＝（Δ
ｔ_x，Δｔ_Y，Δｔ_Z）だけ平行移動したものとみな
す。また回転量及び平行移動量は小さいと仮定する。

【００２６】このとき物体の３次元情報を構成する点ｐ
_nの移動量Δｐ_vn＝（ΔＸ_n，ΔＹ_n，ΔＺ_n）（ｎ＝
１〜Ｎ）は、次式

【数７】に示すようになる。ここで×はベクトル積を表してい
る。またｐ_vgはＮ個の位置情報ｐ_n全体の重心（＝Σｐ
_n／Ｎ）である。このとき回転軸は重心ｐ_vgを通るもの
とする。

【００２７】ここで点ｐ_nを投影面に投影して得られる
投影点ｑ_nを（ｘ_n，ｙ_n）とすると、投影点ｑ_nの移
動量Δｑ_n（＝（Δｘ_n，Δｙ_n））は、次式

【数８】のようになる。この式を（１）式に適用すると、次式が
得られる。

【数９】

【００２８】これら（７）式及び（９）式をＮ個の位置
情報のうちＭ（ｍ＝１〜Ｍ）個の位置情報について適用
すると、次式

【数１０】が得られる。ただしＡは２Ｍ×６の行列とし、Δｃ_v＝
（Δｔ_v ^T，Δω_v ^T）^T、Δｑ_v＝（Δｑ_v1 ^T，…
…，Δｑ_vM ^T）とする。

【００２９】ところで一般に、カメラ移動前における仮
想の投影点ｑ_m（位置情報を与える点ｐ_mを投影面に投
影した点）と対応する点をカメラ移動後における物体像
の中に求めることは困難な場合が多い。そこで図３に示
すようにこの実施例では、３次元情報を構成する仮想投
影像Ｉ_pにおいて物体像のエツジ図形Ｉ_Rにおける点ｑ
_mから最も近い点を仮想の投影点ｑ_m' に対応する点と
して仮定する。

【００３０】このように対応点を仮定することとし、か
つＭ≧３とすると、回転量および平行移動量のパラメー
タΔｃ_v（＝Δｔ_v ^T，Δω_v ^T）の推定値Δｃ_voは最
小自乗法より、次式

【数１１】のように求めることができる。

【００３１】この値を（７）式のパラメータΔω_v及び
Δｔ_vに代入すれば、カメラの移動によつて生じた３次
元情報の全体的な移動量Δｐ_noを求めることができる。
この移動量Δｐ_noによつて移動前の３次元情報を更新す
ると、新たな３次元情報を得ることができる。本実施例
ではこのようにカメラが移動するごとに位置情報の移動
量を（11）式を用いて推定し、先の３次元情報を更新す
る。また同時に（１）式を用いて新たな仮想投影像を作
る。このようにカメラが移動するたびに同様の処理を繰
り返すのである。

【００３２】因にこれらの一連の処理の繰り返し回数を
ｋとすると、ｋ回後における回転量及び平行移動量のパ
ラメータΔｃ_vと３次元位置情報Δｐ_vnとはそれぞれ、
次式

【数１２】となる。

【００３３】この実施例では位置情報を与えるＭ個の点
についての各移動量Δｑ_Mの絶対値和（＝｜Δｑ₁｜＋
｜Δｑ₂｜＋……＋｜Δｑ_M｜）が一定値ε以下になる
までカメラの移動を繰り返す。このように物体像のエツ
ジを構成する点と投影像とのずれ量を全体的に求め、そ
のずれ量が小さくなるまで対応点の探索処理を繰り返す
ことにより仮想の投影像（破線で示す）と物体像（実線
で示す）とは徐々に近づくことになる。

【００３４】例えば図４に示すように物体像に対するず
れが認められる仮想の投影像を図５に示すようにほぼ一
致する状態まで近づけることができる。この状態になれ
ば、全てのエツジについて最も近い点どうしを対応点と
みなしても誤差はそれほど大きくならない。この結果、
カメラ移動前の３次元情報ｐ_vnにそれぞれ対応するカメ
ラ移動後の物体像の対応点ｑ_vnを求めることができる。

【００３５】因にこの実施例の場合、３次元情報の更新
の際にはカルマンフイルタを用いることにする。カルマ
ンフイルタは一連の観測量（時系列画像）から雑音成分
を含む系における状態量の最小２乗推定量を逐次与える
もので、現時点より前の測定データは残さなくて良いも
のである。通常、３次元情報を更新するため３次元座標
を計算すると対応点誤差が生じることになるが、カルマ
ンフイルタを使用すればカメラ移動の回数ｋが増えるに
従つて対応点誤差の影響を軽減することができることが
知られている。

【００３６】さらにこの実施例では物体は剛体であり、
加えて３次元情報を構成する各点について移動（回転移
動及び平行移動）を表す６個のパラメータ（Δω_x，Δ
ω_Y，Δω_Z，Δｔ_x，Δｔ_Y，Δｔ_Z）を（７）式に
よつて拘束することにより、物体の移動量を個々の点そ
れぞれ独立についてではなく包括的に求めることができ
る。従つて図５に示すように全体として矛盾のない対応
点関係が全ての点について得ることができ、誤対応によ
る３次元情報の雑音成分を減少できる。

【００３７】また運動パラメータの推定方法はカメラの
移動についての制限はないため、従来のように光軸に直
交する平面内に移動方向が限定されることもなく、奥行
き方向への移動および光軸の回転も許容される。これに
対して従来良く用いられる方法として、カメラの移動方
向を光軸に対して直交する平面内に限定し、局所的な特
徴量の相関が高い点をエピポーラ線上（移動方向と平行
な直線上）で探して対応点を決定する方法がある。

【００３８】この場合、カメラの移動方向と平行な線を
形成するエッジの対応点が求め難く、そのようなエッジ
の３次元情報が得られないという問題があつた。しかし
ながら今回のように運動パラメータの推定方法を適用す
ればエツジ全体について包括的な対応点の検出がなされ
るため、一方向だけの移動でも全てのエツジについて３
次元情報を正確に獲得することができる。

【００３９】（２）運動パラメータ推定方法を導入した
３次元情報復元システム（２−１）システム構成図６において１０は全体として３次元情報復元システム
の全体構成を示している。この３次元情報復元システム
１０はカメラ１を少しずつ移動させながら物体を撮影す
ることにより時系列画像を得、時系列画像に基づいて物
体を形どるエツジの３次元情報を獲得するものである。

【００４０】カメラ１の移動にはロボツトアーム１１が
使用される。ロボツトアーム１１はロボツトコントロー
ラ１２の指示に従つて手首部分に装着されたカメラ１を
平行移動又は回転移動させ、カメラ１の位置及び視線方
向を変更するようになされている。この一連のカメラ移
動によつて時系列画像が得られる。アナログ／デイジタ
ル変換回路１３は各画像をデイジタル画像信号Ｓ１に変
換し、ビデオインターフエース１４を介して中央処理装
置（以下ＣＰＵという）１５に与えている。

【００４１】ＣＰＵ１５はデイジタル画像信号Ｓ１とメ
モリ１６から読み出した３次元情報Ｓ２とに基づいてロ
ボツトアーム１１の制御量及び３次元形状を計算し、ロ
ボツトアーム１１の位置情報についてはロボツトコント
ローラ１２との間で通信するようになされている。因に
メモリ１６には物体の３次元情報の他、カメラの位置情
報やロボツトの制御量等も記憶される。

【００４２】このＣＰＵ１５は６つの処理ブロツク１５
Ａ〜１５Ｆによつて構成されている。エツジ検出回路１
５Ａはデイジタル画像信号Ｓ１を平滑することにより雑
音成分を除去し、この後デイジタル画像について２次微
分のゼロクロス点を検出することによつて物体のエツジ
画像を検出する。求められたエツジ画像は初期値計算回
路１５Ｂ及び運動推定回路１５Ｃに出力される。

【００４３】初期値計算回路１５Ｂは最初に与えられた
エツジ画像Ｓ３から３次元情報の初期値を計算するもの
である。この初期値の計算の際には各エツジについて物
体がカメラの光軸と直交する平面に描かれた画像である
とし、かつ奥行きを表すＺ成分が全てのエツジについて
一定であると仮定する。そしてこの条件の下、各エツジ
の画素位置と（１）式とに基づいてＸ成分及びＹ成分を
計算し、計算結果をメモリ１６に３次元情報として記憶
する。

【００４４】これに対して運動推定回路１５Ｃは初期設
定された３次元情報を逐次更新するのに使用されるもの
である。運動推定回路１５Ｃはメモリ１６中に記憶され
ている３次元情報Ｓ２とエツジ画像Ｓ３とに基づいて運
動パラメータの推定値Δｃ_voを推定し、推定結果を対応
点探索回路１５Ｄに与える。

【００４５】対応点探索回路１５Ｄは運動パラメータの
推定値Δｃ_voに基づいて点Ｐの移動量ΔＰ_vnを求め移動
量を基に３次元情報と物体像との対応点を決定する。３
次元情報更新回路１５Ｅはカメラ位置情報Ｓ４と対応点
関係Ｓ５に基づいてメモリ１６中に記憶されている３次
元情報を更新する。このとき３次元情報更新回路１５Ｅ
は移動回数ｍが２以上の場合にはカルマンフイルタが使
用される。位置制御回路１５Ｆは移動量と視線制御量を
計算してロボツトコントローラ１２に位置情報を送る。
またカメラの移動後においてはロボツトコントローラ１
２から送られるロボツトの位置情報をメモリ１６に送り
記憶する。

【００４６】（２−２）復元処理図７に３次元情報復元
システム１０による３次元情報の復元手順を順に示す。
最初の処理であるステツプＳＰ１として、ＣＰＵ１５は
位置制御回路１５Ｆによつてカメラを移動させ、物体像
が画像面に収まる位置に初期設定する。これと共に位置
制御回路１５Ｆはカメラの移動パラメータ（すなわち移
動間隔、移動範囲及び移動回数等）をメモリ１６に記憶
する。因にこの時点でのカメラの移動回数ｍは０であ
る。

【００４７】位置制御回路１５Ｆは続くステツプＳＰ２
においてカメラの視線方向を制御する。この制御ではカ
メラ移動時に物体像が画面からはみ出さないように物体
像を画面の中央付近に位置がなされる。従つて予め設定
された移動範囲で物体像がはみ出さないことが保証され
ている場合には必ずしも必要ない。

【００４８】視線制御が終わるとステツプＳＰ３に移
り、エツジ検出回路１５Ａは物体像のエツジ画像の検出
処理に移る。この後ステツプＳＰ４に移り、初期値計算
回路１５Ｂはエツジ画像から３次元情報を計算し、計算
結果をメモリ１６に記憶する。これら一連の処理によつ
て初期設定を終了する。

【００４９】次のステツプＳＰ５において、位置制御回
路１５Ｆはメモリ１６から移動量を読み出し、この間隔
分だけカメラを移動させるようロボツトコントローラ１
２に制御信号を出力する。このときカメラの移動回数ｍ
は更新され１となる。この後、ステツプＳＰ６及びステ
ツプＳＰ７において、視線制御とエツジ画像の検出がな
され、ステツプＳＰ８における運動パラメータの推定に
移る。運動推定回路１５Ｃは運動パラメータ推定の手法
を用いての運動量を推定し、ステツプＳＰ９において、
対応点探索回路１５Ｄによる３次元情報と画像との対応
点を決定する。

【００５０】この時点ではカメラの移動回数ｍは１のた
め３次元情報更新回路１５ＥはステツプＳＰ１０に移
り、先のステツプで得られた対応点から３次元座標を計
算し更新する。すなわち初期値である平面状の３次元情
報と移動後の物体像との対応点関係を移動前後の物体像
間の対応に戻して、（７）式から３次元座標を計算す
る。

【００５１】このようにカメラ移動の終了後、３次元情
報が更新されると、ＣＰＵ１５はステツプＳＰ５に戻つ
て前述の処理仮定を繰り返す。ただしこの場合には対応
点探索回路１５Ｄによる対応点検索の後ステツプＳＰ１
１に移り、カルマンフイルタによる３次元座標の更新処
理に移る。その後、物体像と仮想の投影像との包括的な
誤差が一定値ε以下になるまでカメラを所定間隔だけ移
動させ、新たに得られたエツジ画像から対応点を決定す
る処理を繰り返す。この際、３次元情報の更新にカルマ
ンフイルタが用いられることによりカメラの移動回数ｍ
が増えるに従つて誤差は小さくなる。この結果、ＣＰＵ
１５を用いて得られる３次元情報と物体像とは包括的に
ほぼ一致し、誤対応の影響を心配することなく精度の高
い３次元情報が得られる。

【００５２】以上の構成によれば、同一物体を異なる視
点から撮影した時系列画像から物体のエツジ像を順に求
め、前時点までに復元された物体の３次元情報と現時点
における物体のエツジ像とに基づいてカメラと物体との
相対位置を推定する。この推定値に基づいて３次元情報
と物体像との対応点関係を全エツジについて包括的に求
めることにより、誤対応に起因した雑音成分のほとんど
ない信頼性に優れた３次元情報を得ることができる。

【００５３】また対応点はカメラの移動方向に関係なく
探索することができるため、奥行き方向へにカメラを移
動させる場合や光軸に対してカメラを回転させることも
含む任意方向へカメラ移動させる場合に対しても３次元
情報を確実に求めることができる。同様に、従来検出が
困難であつたカメラの移動方向に対して平行なエツジ上
に位置する対応点も容易に決定することができる。また
一方向のみ移動させる場合にも全てのエツジに係る３次
元情報を容易に得ることができる。

【００５４】（３）他の実施例なお上述の実施例においては、画像間における物体像の
変化があまり大きくならないようにカメラを少しづつ一
定間隔で移動させて物体を撮影する場合について述べた
が、本発明はこれに限らず、カメラの移動量は復元され
た３次元情報を投影面に投影して得られる仮想の投影像
と物体像との誤差分に基づいてその都度設定しても良
い。

【００５５】また上述の実施例においては、カメラをロ
ボツトアームの手首部分に取り付け、ロボツトアームを
制御することによりカメラの撮影方向を可変する場合に
ついて述べたが、本発明はこれに限らず、カメラの撮影
方向を可変制御することができれば任意の位置に取り付
けることができる。

【００５６】さらに上述の実施例においては、物体を剛
体と仮定する場合について述べたが、本発明はこれに限
らず、弱剛体でも良い。また上述の実施例においては、
回転及び平行移動についての６個のパラメータを未知数
とする場合について述べたが、本発明はこれに限らず、
回転方向や移動方向が予め分かつている場合には特定の
パラメータの値を固定値としても良い。

【００５７】

【発明の効果】上述のように本発明によれば、撮影画像
から検出した物体のエツジ画像を用いて前時点と現時点
との間に生じた撮像手段の移動量を推定し、推定結果か
ら物体のエツジ画像と物体の３次元情報との対応点を全
エツジについて包括的に求めるようにしたことにより全
エツジについて対応関係を包括的に求めることができ
る。この結果、個々の点について対応関係を求める従来
の方法に比して誤対応が生じるおそれを低減することが
でき、３次元情報の信頼性を一段と高めることができ
る。

【図面の簡単な説明】

【図１】撮影座標系の移動と撮像点との位置関係を示す
略線的斜視図である。

【図２】撮像位置の移動を示す略線図である。

【図３】物体像から仮想の投影像への対応点を求める推
定手法の説明に供する略線図である。

【図４】初期設定直後における投影像と物体像との関係
を示す略線図である。

【図５】本発明による３次元形状復元方法を用いて復元
した投影像と物体像との関係を示す略線図である。

【図６】本発明による３次元形状復元方法を用いる復元
装置の構成を示すブロツク図である。

【図７】３次元形状復元方法の処理手順を示すフローチ
ヤートである。

【図８】撮像位置の移動を示す略線図である。

【図９】各撮像位置によつて撮影された画像を示す略線
図である。

【図１０】円柱状の物体を異なる位置から撮影する様子
を示す略線図である。

【図１１】カメラの移動によつて得られる撮影画像を表
す略線図である。

【図１２】誤対応の発生メカニズムの説明に供する略線
図である。

【符号の説明】

１……カメラ、１０……３次元情報復元システム、１１
……ロボツトアーム、１２……ロボツトコントローラ、
１３……アナログ／デイジタル変換回路、１４……ビデ
オインターフエース、１５……ＣＰＵ、１５Ａ……エツ
ジ検出回路、１５Ｂ……初期値計算回路、１５Ｃ……運
動推定回路、１５Ｄ……対応点探索回路、１５Ｅ……３
次元情報更新回路、１５Ｆ……位置制御回路。

Claims

【特許請求の範囲】

【請求項１】撮像手段を少しづつ動かしながら同一物体
を順次撮影し、順次得られる時系列画像に基づいて３次
元情報を復元する３次元形状復元方法において、上記時系列画像を構成する新たな画像が得られるごとに
上記画像中から上記物体のエツジ画像を検出する処理
と、前時点までに復元された物体の３次元情報と現時点の画
像から検出されたエツジ画像とに基づいて前時点と現時
点との間に生じた上記撮像手段の移動量を推定する処理
と、推定結果に基づき全エツジについて、エツジ画像と３次
元情報との対応点を包括的に求める処理と、上記対応点に基づいて上記３次元情報を新たな値に更新
する処理とを具えることを特徴とする３次元形状復元方
法。
【請求項２】時系列画像を構成する画像のうち、初期画像より２枚目以降の画像については、包括的に求
められた対応点をカルマンフイルタを通すことにより上
記３次元情報を更新することを特徴とする請求項１に記
載の３次元形状復元方法。