JPH08122030A - ３次元画像形成方法とその装置 - Google Patents

Abstract

(57)【要約】 【目的】 凹領域を含む対象ステレオ画像を容易に多角
形網で近似して対応する３次元画像を形成する３次元画
像形成方法とその装置を提供する。 【構成】 対象ステレオ画像を入力して（ステップＳ４
０２）、前記対象ステレオ画像を近似する多角形網を生
成し（ステップＳ４１８）、生成された多角形網から、
前記対象ステレオ画像の凹面に割り当てられた多角形網
を除いた凹面除去多角形網に基づき、前記凹面除去多角
形網の各頂点の３次元座標を計算し（ステップＳ４２２
〜Ｓ４２６、Ｓ４１６）、計算された前記凹面除去多角
形網の各頂点の３次元座標に基づき、画像形成手段に対
応する３次元画像を形成する（ステップＳ４２１）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理方法とその装
置、特に、ステレオ画像から画像中の物体の三次元幾何
形状を求める方法とその装置に関する。

【０００２】

【従来の技術】ステレオカメラ等によって得られたステ
レオ画像から、画像中の物体の三次元的な形状を得るシ
ステムとしては、画像中のすべての点に対して、相関マ
ッチング等により対応点を求め、三次元座標を求めるシ
ステムが知られている。しかしながら、こうしたシステ
ムでは、対応点の探索での誤りが発生し、正確な三次元
形状を得られないことがあった。また、すべての点につ
いて対応点を求めるための計算量が膨大であった。

【０００３】一方、こうした問題点を回避するため、人
間が対話的に対応点を指定しながら三次元形状を求める
方法が提案されている（特願平５−２９９５１５参
照）。この手法では、ステレオ画像上の対応点から三次
元座標を求めた後、この三次元座標を結ぶ三角形網を逐
次的に生成していくことで面を生成する。この三角形の
生成方法として、ボロノイ（Volonoi）図と相対の関係
にあるDelaunay網を用いた三角網生成手法等を用いてい
る。なお、Delaunay網は、２次元平面上に分布した点群
に対して隣接各点を頂点とする三角形を生成する際、で
きるだけ細長い三角形ができないように網を生成するも
のである。そして、二次元平面上の指定対応点をこのDe
launay三角形網で覆っていき、この三角形網とは別に三
角測量の原理によって計算される対応点の三次元座標を
三角形網の頂点として、三次元の平面を構成するという
ものである。

【０００４】Delaunay網を用いた三角形網生成では、逐
次的な点追加に対して有効であり、点を追加した時の三
角形網の再計算の計算量が少なくて済む。対話的に対応
点を選択しながら三次元を構成していく際には、最初に
粗く点を指定し、徐々に細部を指定していくような場
合、少ない計算量で可能である。

【０００５】

【発明が解決しようとする課題】しかしながら、Delaun
ay三角網を用いた面生成の方法を用いる場合、物体中に
凹領域が存在している場合、Delaunay網生成の原理によ
り、凹領域を持つ物体を扱うことができないという問題
があった。すなわち、指定点列から構成される三角形網
（三角形パッチ）では、二次元平面上の物体の凸領域し
か扱うことができなかった。

【０００６】本発明は、上記従来例に鑑みてなされたも
ので、凹領域を含む対象ステレオ画像を容易に多角形網
で近似して対応する３次元画像を形成する３次元画像形
成方法とその装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像入力方法とその装置は以下の構成を備
える。即ち、対象ステレオ画像に基づいて、前記対象ス
テレオ画像を近似する多角形網を生成する多角形網生成
工程と、前記多角形網生成工程で生成された多角形網か
ら、前記対象ステレオ画像の凹面に割り当てられた多角
形網を除いた凹面除去多角形網に基づき、前記凹面除去
多角形網の各頂点の３次元座標を計算する３次元座標計
算工程と、前記３次元座標計算工程で計算された前記凹
面除去多角形網の各頂点の３次元座標に基づき、画像形
成手段に対応する３次元画像を形成する３次元画像形成
工程とを備える。

【０００８】また別の発明は、対象ステレオ画像に基づ
いて、前記対象ステレオ画像を近似する多角形網を生成
する多角形網生成手段と、前記多角形網生成手段で生成
された多角形網から、前記対象ステレオ画像の凹面に割
り当てられた多角形網を除いた凹面除去多角形網に基づ
き、前記凹面除去多角形網の各頂点の３次元座標を計算
する３次元座標計算手段と、前記３次元座標計算手段で
計算された前記凹面除去多角形網の各頂点の３次元座標
に基づき、対応する３次元画像を形成する３次元画像形
成手段とを備える。

【０００９】

【作用】以上の構成において、対象ステレオ画像に基づ
いて、前記対象ステレオ画像を近似する多角形網を生成
し、前記生成された多角形網から、前記対象ステレオ画
像の凹面に割り当てられた多角形網を除いた凹面除去多
角形網に基づき、前記凹面除去多角形網の各頂点の３次
元座標を計算し、前記計算された前記凹面除去多角形網
の各頂点の３次元座標に基づき、対応する３次元画像を
画像形成手段に形成する。

【００１０】また別の発明は、多角形網生成手段が、対
象ステレオ画像に基づいて、前記対象ステレオ画像を近
似する多角形網を生成し、３次元座標計算手段が、前記
多角形網生成手段で生成された多角形網から、前記対象
ステレオ画像の凹面に割り当てられた多角形網を除いた
凹面除去多角形網に基づき、前記凹面除去多角形網の各
頂点の３次元座標を計算し、３次元画像形成手段が、前
記３次元座標計算手段で計算された前記凹面除去多角形
網の各頂点の３次元座標に基づき、対応する３次元画像
を形成する。

【００１１】

【実施例】最初に、本発明に係る一実施例の画像処理装
置での、凹領域を持った物体に対する三角網を生成する
ための処理構成のポイントを要約する。即ち、対話的に
三角形網の辺を削除する削除手段と、Delaunay網の情報
とは別に削除した辺の情報を管理する管理手段とを本実
施例の画像処理装置が備え、Delaunay三角形網を一旦生
成した後、凹領域に対応する辺を削除することで、凹領
域を持った物体でも正しく三角形網で覆うことができ
る。

【００１２】以下、本実施例の画像処理方法とその装置
の構成について詳細に説明する。まず、図１、図２を参
照して、本発明に係る１実施例の基本構成を説明する。
図１は、本実施例の画像処理装置の基本ブロック図であ
る。また、図２は本実施例の主記憶（１ー３）に予め読
み込まれている本画像処理を記述したプログラムのモジ
ュールの概要構成であり、ＣＰＵ（１ー４）によって解
釈実行される。

【００１３】図１を参照して、ＣＰＵ（１ー４）は、本
実施例の画像処理装置全体の制御を行う。ビットマップ
デイスプレイ（１ー５）は、画像処理された結果の画像
や、キーボード（１ー６）やポインテイング入力デバイ
ス（１ー７）から入力されるコマンドラインやデータの
表示を行う。主記憶（１ー３）は、画像処理のための各
種プログラムやデータが格納されている。不図示のステ
レオカメラ等で撮影して獲得されたステレオ画像をディ
ジタル化したデジタルステレオ画像データが、外部機器
との入出力部（１−１）を通じて、ハードディスク装置
１−２に読み込まれる（１−２１）。

【００１４】図２のプログラムの基本構成に基づく、本
実施例の画像処理フローチャートを図４に示す。また、
図３は、本実施例の画像処理での操作画面の一例を示
す。図３おいて、３−１は操作メニュー、３−２，３−
３はそれぞれ、ステレオ画像を構成する左側、右側の画
像を表示するウィンドウである。また、３−４は、本実
施例の画像処理装置で行う対話処理で得られた三次元形
状データを三次元的に表示するウィンドウである。

【００１５】図４は、本実施例の画像処理装置での画像
処理のフローチャートである。以下、図１，図２，図
３，図４を参照しながら、この画像処理動作を説明す
る。図４を参照して、まず、システムを起動すると、ハ
ードディスク１−２中のステレオ画像１−２１を読み込
み（ステップＳ４０２）、読み込まれた左右の画像を、
ビットマップディスプレイ１−５上の３−２、３−３に
マルチウィンドウ表示する（ステップＳ４０３）。ここ
で、ビットマップディスプレイ１−５上には、図３のよ
うな画面が現れているものとする。

【００１６】次に、ユーザからのポインテイング入力デ
バイス１ー７を用いたメニュー選択等の操作を待ち合わ
せ（ステップＳ４０４）、ポインテイング入力デバイス
１ー７がユーザによって操作されると、以下に説明する
その操作に応じた処理を実行した後に、再び、ステップ
Ｓ４０４に戻り操作待ち状態になる。ステップＳ４０５
では、、ステップＳ４０４で入力した操作が画像上での
ポインテイング入力デバイス１ー７のクリックであるか
どうかチェックする。そして、クリックであれば、ステ
ップＳ４１２へ進み「点追加」フラグをチェックして点
追加処理（オン時）か辺削除処理（オフ時）を行うかを
判断する。

【００１７】ステップＳ４０６では、ステップＳ４０４
で入力した操作が、メニュー選択である場合、その選択
内容をチェックする。即ち、「点追加」または「辺削
除」のどちらが選択されているかチェックする（図３の
３ー１参照）。ここで、「点追加」が選択されている場
合は、不図示の「点追加」フラグをオン（ＯＮ）にセッ
トし、「辺削除」が選択されている場合は、「点追加」
フラグをオフ（ＯＦＦ）にセットする。

【００１８】尚、「点追加」フラグは、ＣＰＵ（１ー
４）の不図示の内部レジスタや主記憶（１ー３）の一部
メモリにアサインされている。この「点追加」フラグの
状態に基づいて以後の処理で、画像上でのポインテイン
グ入力デバイス１ー７のクリック時の処理動作を、「点
追加」フラグがオンであれば点追加モードで、また「点
追加」フラグがオフであれば辺削除モードで実行する。

【００１９】次に、ステップＳ４１３以後の処理、即
ち、ポインテイング入力デバイス１ー７による座標指定
（点の追加）処理の説明を行う。ステップＳ４１３で
は、表示されたステレオ画像上（図３の３ー２、３ー３
上）でのポインテイング入力デバイス１ー７のボタンク
リック時点でのポインテイング入力デバイス１ー７の位
置座標を獲得する。

【００２０】尚、操作者は目視等により左右の画像中の
同一の点に対応するようにポインテイング入力デバイス
１ー７で位置を指定する。ステップＳ４１４では、右
（３−３）および左（３−２）の両方の画像上で位置座
標指定が行なわれたかどうかを確認して、両方の位置座
標が入力されていなければ、ステップＳ４１３へ戻る。
両方の位置座標が入力されていることが確認されると、
ステップＳ４１５へ進む。

【００２１】ステップＳ４１５では、入力した点がすで
に入力されて追加登録されている点であるかチェックし
て、すでに登録されていれば、ステップＳ４０４の操作
待ち状態に戻る。尚、すでに追加登録されているか否か
は後で述べる点追加リスト（図５ａ）を検索することで
容易に確認できる。

【００２２】尚、ここで指定された点は、以後の三次元
座標計算処理により、三次元形状の頂点になる。尚、本
実施例では、左右の対応点は目視により両方の画像の同
一点を手動で指定しているが、パターンマッチング等に
より、片方の画像の対応点を指定するともう片方の対応
点は自動的に計算して求めるようにすることも可能であ
る。ステップＳ４１６では、左右の画像上の座標が揃っ
た時点で、座標を主記憶（１ー３）に保存する。また、
点リストの左右の座標（Lxi,Lyi)，(Rxi,Ryi) および、
あらかじめ求めたカメラパラメータより、三角測量の原
理を用いて三次元座標（Vxi,Vyi,Vzi)を計算する。左右
の指定座標は、たとえば図５ａに示したデータ構造で保
存する。すなわち、各点Ｐ1、Ｐ2、．．．、Ｐn毎に、
左側の画像上の指定座標（”左側座標”）、右側の画像
上の指定座標（”右側座標”）、および左右の指定座標
から後述の計算で求められる三次元座標（”三次元座
標”）を要素として含むリスト（以下、点リストと呼
ぶ）に登録する。以後、左右の点が指定されると、この
リストに順次座標が追加登録されていく。図５ａでは、
ｉ番目に追加された点は、左側の画像上の指定座標（Lx
i,Lyi)、 右側の画像上の指定座標(Rxi,Ryi）、左右の指
定座標から後述の計算で求められる三次元座標（Vxi,Vy
i,Vzi)がリスト要素となっている。なお、これらの点は
すべて、理想的には撮影した三次元空間中の同一の点に
対応している。各点リスト間の接続は、”次の点へのポ
インタ”に、次点リストの先頭アドレスを示すポインタ
を格納することで成される。

【００２３】尚、カメラパラメータとは、ステレオ画像
の撮影条件、つまりカメラの位置、方向、焦点距離等の
情報が含まれているパラメータであり、左右の画像毎に
（左右の画像を撮影するカメラ毎に）別々に持ってい
る。このカメラパラメータはファイルから読み込む等の
方法であらかじめシステムに与えておくものとする。続
くステップＳ４１７〜Ｓ４２１では、三次元座標計算、
面の生成、三次元表示等の処理を行なう。以後、ｉ番目
の左右の対応点が追加されたものとして説明する。

【００２４】ステップＳ４１７では、ステップＳ４１６
で計算された三次元座標（Vxi,Vyi,Vzi)を、ｉ番目の点
リストに登録する。ステップＳ４１８では、点リスト
（図５ａ）から、面を生成してゆく。本実施例では、ど
ちらかの画像上の指定点列よりDelaunay網を用いて三角
形パッチを生成し、それを面として扱うようにしてい
る。入力されたすべての点について、はじめの３点が指
定された時点で１つの三角形が生成され、４点以降は点
が１つ増える毎に追加した１点とすでに入力されている
点とから、Delaunay網を再生成する。

【００２５】尚、Delaunay三角形網とは、三角形の頂点
角度の最小のものが最大になるように（すなわち、少し
でも正三角形に近い三角形ができるように）点群を結び
三角形網を生成する方法であり、点の追加に伴う再評価
の計算量等の点で自動的に三角形網を生成する手法とし
ては非常に有効である。ただし、すべて自動で三角形網
を生成するので、明示的に２点を結ぶ辺を残すことはで
きない。

【００２６】図３は、画像上に三角形パッチを張った様
子を示す画面例であり、３−２は左側の画像の三角形パ
ッチの様子を示している。左側の画像上および三次元の
空間中の面については、次の様に求められる。例えば、
３点(Rx1,Ry1),(Rx2,Ry2),(Rx3,Ry3) を結ぶ一つの三角
形に注目すると、対応する点リストのリスト要素ｐ１，
ｐ２，ｐ３から、対応する左側の画像座標上および三次
元座標の点を取り出し、左側の画像上および三次元空間
の三角形が求められる。

【００２７】こうして生成された三角形は、図５ｂの構
造をもった面リストに追加される（ステップＳ４１
９）。この面リストの各要素には、三角形の３つの頂点
にそれぞれ対応する点（点リスト（図５ａ）中の）への
ポインタが含まれている。また、各面リストＦ1、Ｆ
2、．．．、Ｆi間には、ポインタ（図５ｂの”次の面へ
のポインタ”）を設定する。このデータ構造を生成する
ことで、対象物体に対する二次元および三次元の三角形
パッチを生成することが可能である。従って、この面リ
ストと点リストがDelaunay三角形網を構成する。

【００２８】尚、実際は、後述する辺の削除処理も考慮
に入れ、面リスト（図５ｂ）ではなく後述する表示用面
リスト（図５ｅ）を用いて二次元画像上および三次元空
間中に三角形網を構成し表示する。ステップＳ４２１で
は、二次元の三角形パッチは、三次元的に３−４（図
３）のように表示される。三次元表示の方法について
は、ワイヤフレーム表示やシェーディング表示等数通り
の方法が知られているが、ここでは、三次元表示方法に
はこだわらない。

【００２９】以上説明した動作を繰り返し、三次元形状
を求める。しかしながら、Delaunay三角形網が覆う二次
元平面上の物体は常に凸になるため、凹領域を持つ物体
は正しく三角形網で覆うことができない。例えば、図６
のような場合には図中の斜線領域に含まれる三角形は三
次元的には入力しようとしている物体の形状の一部では
なく背景の一部が物体の一部に取り込まれていることに
なる。この場合、この領域に含まれる三角形すなわち、
辺を削除する必要があり、次に述べるステップＳ４２２
からの辺削除処理を行なう。

【００３０】ステップＳ４２２では、物体の凹部分の余
分な辺の削除を、辺の両端の２点を指定することで行う
ため、ポインテイング入力デバイス１ー７で削除する辺
の両端の点の指定を入力する。ステップＳ４２３では、
指定された２点が三角形の辺を構成するかどうかを調べ
る。辺を構成するか否かは、面リスト（図５ｂ）を辿り
各リスト要素に含まれる３点の二次元座標（および指定
点が右側画像か左側画像かも）中にこの２点を同時に含
む面があるかどうかを調べれることによってチェックす
る。もし、２点が辺を構成しないのであれば、ステップ
Ｓ４０４に戻る。２点が辺を構成する場合、対応する面
リストの要素へのポインタを面削除リストに加える（図
５ｄ参照）。

【００３１】ここで、面削除リスト（図５ｄ参照）の各
要素は、削除する面に対応する面リスト（図５ｂ）の要
素へのポインタ、即ち、”削除面へのポインタ”と”次
の面削除リスト要素へのポインタ”からなる。この際、
削除する辺に対応する三角形は、面リスト（図５ｂ）か
らは削除しない。これは、常に面リスト（図５ｂ）がDe
launay三角形網を構成するようにするためである。辺を
削除しても、面リストにはDelaunay三角形網が保持され
るため、Delaunay網の原理に基づく逐次的な点追加、三
角形網生成が可能である。

【００３２】ステップＳ４２５では、削除しようとして
いる辺を構成する２点を辺削除リスト（図５ｃ参照）に
加える。ここで、辺削除リストの各要素は辺の両端の点
に対応する点リスト中のリスト要素へのポインタ、即
ち、”削除点へのポインタ１”と”削除点へのポインタ
２”と、”次の辺リスト要素へのポインタ”とからな
る。

【００３３】ステップＳ４２６では、面リスト（図５
ｂ）から面削除リスト（図５ｄ）に含まれるリスト要素
を除いた表示用面リスト（図５ｅ参照）を作成する。こ
の表示用面リストを用いて、ステップＳ４２０、ステッ
プＳ４２１において表示処理を行なう。ステップＳ４２
０では、図３（３ー２、３ー３）に示したようなステレ
オ画像２枚上に、生成された表示用面リストに基づい
て、三角パッチを表示する。

【００３４】ステップＳ４２１では、３ー４（図３）の
ような画面上の別なウインドウに、生成された表示用面
リストに基づいて、三次元画像を形成する。以上説明し
たように、Delaunay三角形網を保持する面リストとは別
に、辺を削除する手段と削除した辺の情報（辺削除リス
ト）およびその辺が含まれる面の情報（面削除リスト）
を有するリストを設け、さらに表示用面リストを設ける
ことで、Delaunay三角形網中の任意の辺を削除すること
が可能になり、凹物体への対応が可能になる。この際、
Delaunay三角形網は面リストとし保持されているので、
Delaunayの原理に基づく逐次的な点の追加、三角形網の
更新が可能である。

【００３５】尚、面削除リスト、表示用面リストなしで
も、表示時に面リストと辺削除リストのデータを用いれ
ば、表示のための二次元平面中の三角形網および三次元
空間中の三角形網を生成することが可能であることは言
うまでもない。以上説明したように、対話的に三角形網
の辺を削除する手段と、削除した辺の情報を管理する手
段を備えることにより、Delaunayの原理で構成される三
角形網から辺を削除することで、凹領域を構成できるよ
うになり、凹領域を持った物体でも正しく三角形網で覆
うことができるようになる。これにより、Delaunay三角
形網を用いた面生成の方法を用いる場合、本来は扱えな
い凹領域を有する物体も正しく三角形網で覆うことがで
きるようになる。

【００３６】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【００３７】

【発明の効果】以上説明したように本発明によれば、凹
領域を含む対象ステレオ画像であっても容易に多角形網
で近似して対応する３次元画像を形成することができ
る。

【図面の簡単な説明】

【図１】本実施例の３次元画像形成装置のハードウエア
のブロック図である。

【図２】本実施例の３次元画像形成装置の主記憶に読み
込まれるプログラムモジュールの構成を示す図である。

【図３】本実施例の３次元画像形成装置で表示される操
作画面例を示す図である。

【図４】本実施例の３次元画像形成装置での画像処理の
フローチャートである。

【図５ａ】本実施例の３次元画像形成装置で用いる点リ
ストのデータ構造である。

【図５ｂ】本実施例の３次元画像形成装置で用いる面リ
ストのデータ構造である。

【図５ｃ】本実施例の３次元画像形成装置で用いる辺削
除リストのデータ構造である。

【図５ｄ】本実施例の３次元画像形成装置で用いる面削
除リストデータ構造である。

【図５ｅ】本実施例の３次元画像形成装置で用いる表示
面リストのデータ構造である。

【図６】本実施例の３次元画像形成装置で生成した三角
網のうちの凹領域を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉崎 修 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (8)

【特許請求の範囲】
1. 【請求項１】 ３次元画像の形成方法であって、 対象ステレオ画像に基づいて、前記対象ステレオ画像を
   近似する多角形網を生成する多角形網生成工程と、 前記多角形網生成工程で生成された多角形網から、前記
   対象ステレオ画像の凹面に割り当てられた多角形網を除
   いた凹面除去多角形網に基づき、前記凹面除去多角形網
   の各頂点の３次元座標を計算する３次元座標計算工程
   と、 前記３次元座標計算工程で計算された前記凹面除去多角
   形網の各頂点の３次元座標に基づき、画像形成手段に対
   応する３次元画像を形成する３次元画像形成工程とを備
   えることを特徴とする３次元画像形成方法。
2. 【請求項２】 前記多角形網は、ドロネー網（Delaunay
   網）であることを特徴とする請求項１に記載の３次元画
   像形成方法。
3. 【請求項３】 前記凹面除去多角形網の各頂点の３次元
   座標は、前記対象ステレオ画像の各対応点座標から、三
   角測量の原理に基づき計算されるものであることを特徴
   とする請求項１に記載の３次元画像形成方法。
4. 【請求項４】 前記多角形網生成工程はさらに、前記対
   象ステレオ画像の右目と左目用画像をそれぞれ前記画像
   形成手段に形成し、生成された前記対象ステレオ画像を
   近似する多角形網を前記画像形成手段に形成された前記
   対象ステレオ画像の右目と左目用画像に重畳して形成す
   ることを特徴とする請求項１に記載の３次元画像形成方
   法。
5. 【請求項５】 ３次元画像の形成装置であって、 対象ステレオ画像に基づいて、前記対象ステレオ画像を
   近似する多角形網を生成する多角形網生成手段と、 前記多角形網生成手段で生成された多角形網から、前記
   対象ステレオ画像の凹面に割り当てられた多角形網を除
   いた凹面除去多角形網に基づき、前記凹面除去多角形網
   の各頂点の３次元座標を計算する３次元座標計算手段
   と、 前記３次元座標計算手段で計算された前記凹面除去多角
   形網の各頂点の３次元座標に基づき、対応する３次元画
   像を形成する３次元画像形成手段とを備えることを特徴
   とする３次元画像形成装置。
6. 【請求項６】 前記多角形網は、ドロネー網（Delaunay
   網）であることを特徴とする請求項５に記載の３次元画
   像形成装置。
7. 【請求項７】 前記凹面除去多角形網の各頂点の３次元
   座標は、前記対象ステレオ画像の各対応点座標から、三
   角測量の原理に基づき計算されるものであることを特徴
   とする請求項５に記載の３次元画像形成装置。
8. 【請求項８】 前記多角形網生成手段はさらに、前記対
   象ステレオ画像の右目と左目用画像をそれぞれ形成し、
   生成された前記対象ステレオ画像を近似する多角形網を
   前記画像形成手段に形成された前記対象ステレオ画像の
   右目と左目用画像に重畳して形成することを特徴とする
   請求項５に記載の３次元画像形成装置。