JP3486461B2 - 画像処理装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ステレオ画像から画像
中の物体の三次元幾何形状を求める装置に関するもので
ある。

【０００２】

【従来の技術】 （１）ステレオカメラ等によって得られたステレオ画像
から、画像中の物体の三次元的な形状を得るシステムと
しては、画像中の全ての点に対して、相関マッチング等
により対応点を求め、三次元座標を求めるシステムが知
られている。

【０００３】しかしながら、こうしたシステムでは、コ
ンピュータが自動で対応点を求めるため、対応点の誤り
が発生する可能性があった。また、全ての点について対
応点を求めるため計算量が膨大であり、時間がかかり過
ぎるという問題もあった。

【０００４】（２）一方、こうした問題点を回避するた
め、人間が対話的に対応点を指定しながら三次元形状を
求める方法を本願出願人が特願平５−２９９５１５号
（平成５年１１月３０日出願）として先に提案してい
る。これは、ステレオ画像上の対応点から三次元座標を
求めた後、この三次元座標を結ぶ三角形を生成すること
で、面を生成する。本願出願人が提案した件では、三角
形の生成方法としては、Delaunayの原理に基づく三角網
等を用いる方法を用いている。

【０００５】

【発明が解決しようとする課題】一般に、画像中には複
数の三次元物体が含まれていることが少なくない。しか
しながら画像中に複数の物体があっても、今でも提案さ
れている方法では、背景も含む全ての物体を一つの三次
元形状として扱うことしかできなかった。或は、対話的
に指定した画像中の一部の領域を一つの物体として扱う
ことしかできなかった。即ち、画像中に複数の物体が含
まれていてもそれらを三次元に別々なものとして扱う機
能を持つものがなかった。従って、複数のある物体も、
（その背景としてなっている物体を含めて）一つながり
の１つの物体としてしか扱うことができなかった。

【０００６】また、ステレオ画像は三次元形状入力のた
めにしか使われておらず、テクスチャ情報としては使わ
れていなかった。

【０００７】またDelaunay三角網を用いた面生成の方法
を用いる場合、物体中に三次元的な凹領域が存在してい
ても、Delaunayの原理により凹領域を扱うことができな
いという問題があった。

【０００８】さらに、ステレオ画像上の対応する点の組
みを全て手動で指定する必要があるため、作業量が多く
なる。また、手動で正確に対応点を指定することは困難
であるという問題があった。特に、画像上の明確なテク
スチャ情報がない場合、対応点を指定するのが困難であ
った。

【０００９】

【課題を解決するための手段】及び

【作用】本発明はかかる問題点に鑑みなされたものであ
り、ステレオ画像を構成する個々のオブジェクトを独立
させることを可能ならしめる画像処理装置及び方法を提
供しようとするものである。

【００１０】この課題を達成するため、例えば本発明の
画像処理装置は以下の構成を備える。すなわち、与えら
れたステレオ画像を表示し、表示された画像それぞれに
対し、一対の対応点を順次指定し、３次元データを抽出
する画像処理装置であって、表示されたステレオ画像中
のオブジェクト単位に、対応点を入力する入力手段と、
入力されたオブジェクト単位の対応点を管理する管理手
段とを備える。

【００１１】また、他の発明は、与えられたステレオ画
像の隠れた部位におけるデータを抽出することで、より
正確な三次元データを抽出することを可能にする画像処
理装置及び方法を提供しようとするものである。

【００１２】この課題を達成するため、例えば本発明の
画像処理装置は以下の構成を備える。すなわち、与えら
れたステレオ画像を表示し、表示された画像それぞれに
対し、一対の対応点をそれぞれ指定し、３次元データを
抽出する画像処理装置であって、表示されたステレオ画
像のそれぞれに補助線を描画する補助線描画手段と、描
画した補助線に基づいて、与えられたステレオ画像にお
ける隠れた部位における対応点を抽出する抽出手段とを
備える。

【００１３】また、他の発明は、ステレオ画像から三次
元データを抽出するときの操作環境を向上させる画像処
理装置及び方法を提供しようとするものである。

【００１４】この課題を達成するため、例えば本発明の
画像処理装置は以下の構成を備える。すなわち、与えら
れたステレオ画像から３次元データを抽出する画像処理
装置であって、ステレオ画像を表示する表示手段と、表
示されたステレオ画像の一方の特徴点を指定する指定手
段と、該指定手段で指定された特徴点に基づいて他方の
ステレオ画像における前記特徴点に対応する点を抽出す
る抽出手段とを備え、前記指定手段で指定された特徴点
と前記抽出手段で抽出された点の組みによって三次元座
標データを得る。

【００１５】また、以下に説明するように、本発明で
は、ステレオ画像中の複数の三次元物体が含まれている
ような場合でも、三次元形状を求める手段に加えて複数
の三次元形状を登録、管理する手段を設けることによ
り、複数の物体の三次元形状を別々に扱うことを可能と
する。

【００１６】また、登録した複数の三次元形状データを
切り替えて表示する手段を設けることによって、複数物
体の三次元的な関係を同時に表示し確認できる画像処理
装置及び方法を提供する。

【００１７】また、単に三次元形状が入力出来るだけで
なく、ステレオ画像としてテクシュチャ情報も同時に取
り込んでいるため、テクスチャマッピングの手段を用い
ることで、ステレオ画像とは別にテクスチャ情報を入力
しなくても、三次元のテクスチャマッピング表示を行う
ことをも可能にする。

【００１８】また、Delaunay三角網を用いた面生成方法
を用いる場合の、本来は扱えない凹領域を有する物体
も、複数の凸物体の集合として別々分割して扱うことに
よって、凹領域を持つ物体も扱うことを可能とする。

【００１９】更には、三角形パッチを張る作業は、Dela
unay網を用いなくとも、全ての対応点を対話的に指定す
る等して実現できる（手法１）。

【００２０】また、左右の画像のうちどちらかの画像上
で３次元幾何形状モデルの頂点となる１点のみを指定す
れば、他方の画像上の対応点を自動的に探索する機能を
設けた。この機能により、１対の対応点のうち、指定す
る点の個数を１点に減らすことができる（手法２）。

【００２１】また、左右どちらかの画像上で１点を指定
し、他方の画像上でその対応点のおおまかな位置を指定
すれば自動的に後者の点の位置のずれを補正する機能を
設けた。

【００２２】更に、指定した点の位置にステレオ画像と
重畳して指定点を表す記号を表示することにより、指定
した点位置を確認できるようにすると共に、指定した点
を削除し、再度点を指定し直すことができるようにし
た。

【００２３】左右両方の画像上で手動により指定した一
組の点を対応点として決定する方法に加えて、上記手法
１、２の方法を設けることで、適宜最も適した手法を選
択できるようにした。特に、テクスチャ情報が不明確な
部位では、上記のいずれかの方法でも対応点が正確にと
れないことである。こうした場合に対応するため、ステ
レオ画像表示上に補助線（直線ないし曲線）を引き、そ
の補助線の交点の情報等、補助線から得られる点を対応
点とすることで、ステレオ画像の対応点指定が容易にな
る。

【００２４】

【実施例】以下、添付図面に従って本発明に係る実施例
を詳細に説明する。

【００２５】図１、図２は本発明の１つの実施例のブロ
ック図である。

【００２６】図示において、１−１は外部機器との情報
のやりとりを行う入出力部であり、１−２は大容量の記
録装置であるハードディスクである。１−３は主記憶装
置（ＲＡＭ等で構成される）であり、１−４は本装置全
体の制御を司るＣＰＵである。１−５は画像を表示する
ビットマップディスプレイ（以下、単にディスプレイと
いう）であり、主記憶装置１−３内に確保されたビット
ＲＡＭ領域に展開されたイメージを表示する。１−６は
各種文字や指示の入力を行うキーボード、１−７はディ
スプレイ１−５の表示画面上の任意の位置に専用のカー
ソルを移動させたり、各種指示を行うためのポインティ
ングデバイス（実施例ではポインティングデバイスを使
用）である。

【００２７】上記構成において、ステレオカメラ等で撮
影する等して作成したステレオ画像は所定の装置でデジ
タル化される。（ステレオカメラ自身にデジタル化機能
を備えている場合には直接接続する）。そして、その装
置と入出力部１−１を接続することで、本装置にデジタ
ルステレオ画像（以下、単にステレオ画像という）が取
り込まれ、ハードディスク装置１−２に書き込まれる
（図示の符号１−２１）。そして、キーボード１−６、
或いはポインティングデバイス１−７によって指定する
ことで、指定されたステレオ画像（左右の視点で取られ
た一対の画像）がハードディスク１−２から主記憶装置
１−３内のＶＲＡＭ領域にロードされ、ディスプレイ１
−５に表示される。尚、ステレオデジタル画像を本装置
に取り込むのは、上記の限定されるものではなく、例え
ば本装置にフロッピーディスク装置を接続し、フロッピ
ーディスクでもってステレオ画像データを取り込んで、
回線を介しても取り込んでも良いのは勿論である。ま
た、ハードディスク１−２には、ステレオ画像データ以
外にも、ＯＳ（オペレーティングシステム）や後述する
各フローチャートに対応したプログラムが格納され、適
宜、主記憶装置１−３にロードされてはＣＰＵ１−４に
より実行される。

【００２８】図３は実施例におけるディスプレイ１−５
の表示画面の表示例を示している。図示において、３−
１は操作メニュー、３−２、３−３はそれぞれステレオ
画像を構成する左側、右側の画像を表示するウィンドウ
である。また、３−４は本実施例で行う対話処理で得ら
れた三次元形状データを三次元的に表示するウィンドウ
である。

【００２９】図４は実施例における処理内容を示してい
るフローチャートであり、図２は、図４のフローチャー
トの機能を実現するプログラムを示している。

【００３０】以下、図４の動作手順を図１〜３を参照し
ながら説明する。言うまでもないが、係るプログラムは
主記憶装置１−３にハードディスク１−２からロードさ
れているものである。

【００３１】まず、本システムが起動すると、ディスプ
レイには初期メニュー（図示せず）が表示され、その中
のステレオ画像読出しをキーボード１−６、もしくはポ
インティングデバイス１−７で指定すると、現在ハード
ディスク１−２に格納されているステレオ画像の一覧を
表示し、その内の１つを選択する。この結果、指示され
たステレオ画像（例えばステレオ画像１−２１）が主記
憶装置１−３内の所定領域に読み込まれ（ステップＳ４
０２）、ディスプレイに図３に示す形式で表示される
（ステップＳ４０３）。このとき、操作メニュー等も一
緒に表示する。この結果、ディスプレイ１−５上にはス
テレオ画像の左右の画像がウインドウ３−２、３−３表
示される。ここで、ディスプレイ１−５上には図３のよ
うな画面が現れているものとする。

【００３２】次に、操作者からのポインティングデバイ
ス１−７による指示を待つ（ステップＳ４０４）。

【００３３】＜ポインティングデバイスによる座標指定
（点の追加）処理＞さて、上記指示入力待ちの状態で、
操作者の操作が、表示されたステレオ画像上にポインテ
ィングデバイスに連動するカーソルを移動し、それに設
けられたボタンの押下（以下、この操作をクリックとい
う）を検出したとする。

【００３４】この場合には、ステップＳ４０５からステ
ップＳ４２１に進み、その指示された座標位置を獲得す
る（ステップＳ４２１）。

【００３５】ステップＳ４２１、ステップＳ４２２で
は、右画像ウインドウ（３−３）及び左ウインドウ（３
−２）の両方の画像上で、座標指定が行われたかどうか
を見て、左右の画像上で画像指定が行われるのを待つ。
この結果、右画像及び左画像それぞれの対応する点位置
が入力される。ここで指定された点は、以後の三次元座
標計算処理により、三次元形状の頂点になる。

【００３６】尚、本実施例では、左右の対応点は目視に
よりそれぞれ手操作でもって指定しているが、パターン
マッチング等により片方の画像上の或る点を指定した場
合、もう一方の対応点を自動的に計算して求めるように
することも可能である。

【００３７】さて、左右の画像上の座標が揃った時点
で、その座標データを例えば主記憶装置１−３或いはハ
ードディスク１−２に保存する（ステップＳ４２３）。
但し、左右の指定座標は、図５のようなデータ構造とし
て保存する。即ち、左側の画像上の指定座標、右側の画
像上の指定座標、及び左右の指定座標から後述の計算で
求められる三次元座標、及び次の点を特定するためのア
ドレス（ポインタ）を要素とするリスト（以下点リスト
と呼ぶ）に登録する。以後、左右の点が指定されると、
このリストに順次座標が追加登録されていく。

【００３８】因に、図５では、ｉ番目に追加された点に
おいては、左側の画像上の指定座標（Ｌxi，Ｌyi）、右
側の画像上の指定座標（Ｒxi，Ｒyi）、左右の指定座標
から後述の計算で求められる三次元座標（Ｖxi，Ｖyi，
Ｖzi）がリスト要素となっている。なお、これらの点は
全て、理想的な撮影した三次元空間中の同一の点に対応
している。

【００３９】更に、ステップＳ４２４〜ステップＳ４２
９の処理を行ない、三次元座標計算、面の生成、三次元
表示を行う。ここでは、ｉ番目の前後の対応点が追加さ
れたものとして説明する。尚、この時点では次の点座標
は入力されていないので、実際は直前に入力された点位
置を着目することになる。処理の内容は次の通り。

【００４０】先ず、ステップＳ４２４では、点リストの
左右の座標（Ｌxi，Ｌyi），（Ｒxi，Ｒyi）及び、予め
求めたカメラパラメータより、三角測量の原理を用いて
三次元座標（Ｖxi，Ｖyi，Ｖｚｉ）を計算し、ｉ番目の
点リストに登録する（ステップＳ４２５）。なお、カメ
ラパラメータとは、ステレオ画像の撮影条件、つまりカ
メラの位置、方向、焦点距離等の情報が含まれているパ
ラメータであり、左右の画像ごとに（左右の画像を撮影
するカメラごとに）別々に持っている。このカメラパラ
メータは何らかの方法で予めシステムに与えておくもの
とする。

【００４１】次に、図５に示す構造になっている点リス
トから、面を生成してゆく。本実施例では、どちらかの
画像上の指定点列より三角形パッチを生成して、それを
面として扱うようにしている。つまり、例えば右側の画
像（二次元平面）上の点列（Ｒx1，Ｒy1），（Ｒx2，Ｒ
y2），…（Ｒxn，Ｒyn）のうち、結線が重ならないよう
に三つの点を選び出し、逐次的に三角形パッチを生成し
てゆく。入力された全ての点について、はじめの３点が
指定された時点で１つの三角形が生成され、４点以降
は、点が１つ増える毎に追加した１点と既に入力されて
いる点のうちの２点を三角形が重ならないように選び、
新たに三角形を生成していく。点を追加した時点で、必
要に応じて、既に生成されている三角形を再評価して、
全て（或は一部の）三角形を重ならないように再生成す
る。

【００４２】図１３は、画像上に三角形パッチを張った
様子を示す画面例であり、１３−２は右側の画像の三角
形パッチ様子を示している。この結果から、左側の画像
ウインドウ１３−１上及び三次元の空間ウインドウ１３
−４それぞれにおける面についての三角形パッチ処理は
次のようにして求められる。

【００４３】例えば、右画像の点（Ｒx1，Ｒy1），（Ｒ
x2，Ｒy2），（Ｒx3，Ｒy3）を結ぶ一つの三角形に注目
すると、対応する点リストのリスト要素ｐ１，ｐ２，ｐ
３から対応する左側の画像座標上及び三次元座標の点を
取り出し、左側の画像上及び三次元空間の三角形が求め
られる。三次元空間ウインドウ１３−４についてもまっ
たく同様である。但し、このときの三次元空間ウインド
ウにおいては、その視点位置等を予め設定しておくこと
が必要になる。

【００４４】三角形の生成方法としては、例えば画像上
（二次元平面上）の全ての点列を手動で結んでいく方法
や、何らかの規則で三角形を生成していく方法がある。
後者の規則には、例えばDelaunayの原理に基づき、三角
形網を自動生成する方法がある。なお、Delaunayの原理
に基づく三角形網生成とは、三角形の頂点角度の最小の
ものが最大になるように（即ち、少しでも正三角形に近
い三角形ができるように）点群を結ぶ三角形網を生成す
る方法であり、自動的に三角形網を生成する手法として
は非常に有効である。但し、全て自動で三角形網を生成
するので、明示的に２点を結ぶ辺を残すことはできな
い。この問題の解決策としては、本願出願人によって、
特願平５−２９９５１５号として既に提案している。

【００４５】こうして生成された三角形は、図６の構造
を持った面リストに追加される（ステップＳ４２７）。
この面リストの各要素には、三角形の３つの頂点の座標
に対応する点を有する点リスト（図５）の３つの要素へ
のポインタ、及び、次の三角形のポインタで構成されて
おり、面リストを辿ることで、二次元及び三次元の三角
形パッチを生成することが可能である。

【００４６】二次元の三角形パッチはステップＳ４２８
で画像にオーバレイされ、図１３におけるウインドウ１
３−１、１３−２における線として表示される。

【００４７】三次元の三角形パッチは、ステップＳ４２
９で三次元的に図１３のウインドウ１３−４のように表
示される。三次元表示の方法については、ワイヤフレー
ム表示やシェーディング表示等数通りの方法が知られて
いるが、ここでは、三次元表示方法にはこだわらない。

【００４８】以上の処理（ステップＳ４０４、Ｓ４０
５、Ｓ４２１〜Ｓ４２９）を繰り返し、三次元形状を求
めることができる。

【００４９】但し、以上の処理によって得られる三次元
形状は、三次元モデル的には全てつながった単一の物体
となっている。従って、複数の物体から構成されるステ
レオ画像の場合には、以下に述べる処理によって、別の
三次元形状として扱う必要がある。 ＜＜メニュー選択処理＞＞上記課題を解決するために
は、三次元物体の点入力操作において、個々の三次元物
体を単位に分離させれば良い。

【００５０】そこで、実施例では、上記点入力作業中に
ディスプレイ１−５に表示されている操作メニュー３−
１（図３参照）を使用する。

【００５１】この操作メニュー３−１には、いくつかの
処理項目があるが、それらはポインティングデバイス１
−７に連動するカーソルを該当する位置に移動させ、ク
リックすることで行う。

【００５２】このとき、処理は、図４におけるステップ
Ｓ４０６からステップＳ４０８に進み、各メニューに対
する処理が行われることになる。

【００５３】先ず、操作メニュー３−１における"オブ
ジェクト登録"が選択された場合を説明する。このと
き、処理はステップＳ４１０からステップステップＳ４
１１に処理が進んで、処理が行われる。ステップＳ４１
１の詳細は、例えば図９に示す如くである。

【００５４】尚、ここで、ここで言う“オブジェクト”
とは、別々に扱う物体（の三次元形状）のことを指す。

【００５５】さて、本処理では生成した三角形パッチ、
三次元形状のデータ（点リスト及び面リスト）に名前を
つけて登録するものとする。ステップＳ８０２ではオブ
ジェクトに名前をつける。ステップＳ８０３では、図７
のような表にオブジェクト名と共に編集中の点リスト及
び面リストの先頭のポインタを保存する。

【００５６】次に、“オブジェクト切り替え”を選択し
た場合には、図４におけるステップＳ４０９が処理され
る。この処理の詳細は、図８に示す如くである。

【００５７】先ず、オブジェクト名を指定し（ステップ
Ｓ７０２）、図７の表より指定したオブジェクト名に対
応する点リスト及び面リストの先頭ポインタを取ってき
て対応点及び三角形の追加編集が可能なように再設定す
る（ステップＳ７０３、ステップＳ７０４）。尚、ここ
でオブジェクトの指定は、図７に示すようなオブジェク
ト一覧を別途のウインドウに表示し、操作者はそのうち
の１つをポインティングデバイス１−７で指定する。こ
の時、既に設定されていたリストに関しては、ステップ
Ｓ８０１以下の処理で登録が行われていなければ消去す
る。また、登録されていなければ、リストの先頭ポイン
タを設定し新規に対応表にエントリを追加する。登録が
行われていれば、単にポインタを切り替えるだけで良
い。ポインタを切り替えた後、表示が確認できるよう画
像へのオーバーレイ（ステップＳ７０５）、三次元表示
（ステップＳ７０６）を行う。

【００５８】一方、操作メニュー３−１で、“オブジェ
クト保存”を選択した場合、すなわち、ステップＳ４１
４からステップＳ４１５に処理が移った場合、図１１に
示すフローチャートに従って処理が行われる。

【００５９】この処理では点リスト及び面リストのデー
タをファイルに適切なフォーマットにし、ハードディス
ク１−２に保存する処理である。

【００６０】先ず、オブジェクト名とファイル名を指定
し（ステップＳ１００２、ステップＳ１００３）、図７
より、オブジェクト名に対応するリストを獲得し、リス
トを何らかの適切なフォーマットで保存する（ステップ
Ｓ１００４、ステップＳ１００５）。

【００６１】また、“オブジェクト読み込み”を選択し
た場合、すなわち、ステップＳ４１２からステップＳ４
１３に処理が進んだら、図１０に示すフローチャートに
従って処理を行う。本処理では、ファイルに保存されて
いる点リスト及び面リストデータを読み込む。

【００６２】先ず、ファイル名を指定し（ステップＳ９
０２）、そのファイルを読み込み（ステップＳ９０
３）、点リスト及び面リストのデータを生成し、編集中
のリストとして新たに設定する（ステップＳ９０４）。
そして、表示の確認のため画像へのオーバーレイし（ス
テップＳ９０５）、三次元表示（ステップＳ９０６）を
行う。ここで読み込んだデータに対しては、対応点の追
加が可能である。

【００６３】また、"表示確認"を選択した場合、すなわ
ち、ステップＳ４１６からステップＳ４１７に処理が進
んだ場合には、図１２のフローチャートに従って処理が
進められる。この処理では、登録されているオブジェク
トの確認のための表示を行う。複数のオブジェクトの同
時表示確認も可能である。

【００６４】先ず、確認表示が終了したか否かを判断す
る。この判断は、操作者が終了する旨を指示したか否か
によって判断される。

【００６５】継続させる旨があると（又は、終了の指示
を与えないと）、オブジェクトで表示追加するものがあ
るかどうかを確認し（ステップＳ１１０３）、あれば、
追加オブジェクト名を指定し（ステップＳ１１０４）、
図７より点リスト及び面リストの先頭ポインタを取って
きて設定し（ステップＳ１１０５）、画像へのオーバー
レイ表示への追加（ステップＳ１１０６）、三次元表示
への追加（ステップＳ１１０７）を行う。

【００６６】オブジェクトの表示削除（表示追加でなけ
れば）の指示があればステップＳ１１０３からステップ
Ｓ１１０８に進む。ここでは、削除オブジェクト名を指
定し（ステップＳ１１０８）、画像へのオーバーレイ表
示からの削除（ステップＳ１１０９）、三次元表示から
の削除（ステップＳ１１１０）を行う。こうして、必要
に応じて複数中の任意のオブジェクトの組み合わせを表
示することが可能になる。例えば、図１４に示すごと
く、特定の２つのオブジェクトのみの三次元表示を行う
ことも可能になる。

【００６７】なお、確認終了の場合は、ステップＳ７０
１以下のオブジェクト切り替え処理を行う。

【００６８】ここで、登録されている複数物体の面リス
ト中の三次元座標の値については、相対的な位置関係が
保たれているので、複数を同時に表示した場合でも三次
元の位置関係は保たれる。このことは、三次元表示でテ
スクチャマッピング表示をする場合にも有利に働き、複
数のオブジェクトごとに、テスクチャ情報は別々に持た
なくても、全ての同一の画像で良いという利点がある。

【００６９】以上、説明したように本実施例によれば、
次のような効果を得ることができる。 （０）ステレオ画像中の対応点を指定する手段を設けた
ことにより、ステレオ画像から物体の三次元形状を求め
ることが可能となった。 （１）ステレオ画像中に複数の三次元物体が含まれてい
るような場合でもステレオ画像から対話的に三次元形状
を求める手段に複数の三次元形状を登録、管理する手段
を設けることにより、複数の物体の三次元形状を別々に
扱うことが可能となった。即ち、複数の物体の三次元形
状を別々に表示したり、ファイルに保存したり、ファイ
ルから読み出したりすることが可能となった。 （２）また、登録した複数の三次元形状データを切り替
えて表示する手段を設けることによって、複数物体の三
次元的な関係を同時に表示し確認することができる。 （３）また、Delaunay三角網を用いた面生成方法を用い
る場合の、本来は扱えない凹領域を有する物体も、複数
の凸物体の集合として別々分割して扱うことによって、
凹領域を持つ物体も扱うことができるようになった。

【００７０】従って、テクスチャ情報も画像として同時
に取り込んでいるため、別途テクスチャ情報を入力して
も、三次元のテクスチャマッピング表示を行うことが可
能になった。特に、複数のオブジェクトとして形状を求
めている場合でも、テクスチャ情報は別々に持たなくて
も、全ての同一の画像でよい。

【００７１】なお、上述した実施例において三角形パッ
チの生成方法については、面の生成も現状では三角形が
最も表示や計算速度面で有利であるが、三角形以外の面
生成の手法が存在するのであれば三角形に拘るものでは
なく四角形等他の形状でも構わない。

【００７２】また、実施例では画像上の二次元平面上の
点列から三角形網を生成するようになっているが、ステ
ップＳ４２４で得られた三次元座標の点を用いて三次元
空間内に三角形網を生成しても構わない。三次元座標の
点を用いて三角形網を生成の方法は、二次元または三次
元ポインティングデバイス等を用いて手動で点を指定す
る以外に、二次元或は三次元的に距離の近い点を選ぶ、
Delaunayの原理の三次元空間への拡張、これらの組み合
わせ等、何らかの規則で生成するようにすれば良い。

【００７３】また、単に三次元形状が入力できるだけで
なく、テクスチャ情報も同時に取り込んでいるため、三
次元のテクスチャマッピング表示をする手法に有利であ
る。本実施例の三次元表示手段では、実施例において、
左右どちらかの画像をテクスチャとしてテクスチャマッ
ピングして三次元表示を行うものとする。

【００７４】［第２の実施例の説明］上記実施例１にお
いては、入力したステレオ画像（左右の画像）の対応す
る点をそれぞれ手動で入力した。入力しようとする対象
（オブジェクト）が比較的簡単な形状である場合には、
左右それぞれの画像に対して対応点を入力する作業はさ
ほど問題にはならないかもしれないが、入力する点位置
が多いと操作者に負担がかかる。

【００７５】また、ポインティングデバイス等を手で操
作し、点を入力するわけであるから、ある程度熟練しな
いと、入力点位置が正確にならないという問題も起こり
得る。

【００７６】本第２の実施例は、かかる問題を解決し、
以下の作用効果を奏するものである。 １．ステレオ画像の左右の画像のうち、いずれかの画像
上で三次元幾何形状モデルの頂点となる１点のみを入力
することで、他方の画像上の対応する点を自動的に探索
する。これにより、点入力回数を減らすものである。 ２．左右の画像のうちのいずれか上で三次元幾何形状モ
デルの頂点となる１点を指定し、他方では対応する点の
おおまかな位置を指定するだけで自動的に後者の点位置
を補正する。これによって、点入力にかかる操作者の負
担を軽減すると共に、上記１と比較して正確に対応する
点を決定させるものである。 ３．指定した点の位置にステレオ画像に重畳して指定点
を示す記号を表示することにより、指定した点の位置を
確認でき、且つ、その指定点を再度入力する場合、及び
その指定点の入力を中止する場合に備えて自由に削除で
きるようにする。 ４．ステレオ画像の対応する点を示す記号を表示するこ
とによって、対応点の決定結果を確認できるようすると
共に、対応点を削除する機能を付加することで、偽対応
を生じた対応点の削除を行えるようにする。 ５．上記１と２、又は左右両方の画像上で手操作による
一組み対応点を入力するモードを適宜切り換える。これ
により、、例えば上記１の手法で対応点の決定が失敗し
た場合には、２の手法で対応点を決定できるようにし、
更に手操作によるモードへと状況に応じることで、正確
な対応点を入力する。

【００７７】図２１は、本第２の実施例の三次元形状作
成の処理の流れを示すフローチャートである。図２２
は、上記処理を実現する装置のブロック構成図である。
以下、図を用いて詳細に説明する。以下、各構成要素を
処理手順に従って説明する。

【００７８】２台のカメラをある距離をおいて撮影した
り、１台のカメラを平行移動させて２回撮影するなどに
より得られるステレオ画像を、図２２の外部機器との入
出力部１０３を通して記憶装置１０２（ＲＡＭで構成さ
れる）に読み込み、表示装置１０１にそれぞれ表示する
（ステップＳ１０１）。

【００７９】ステップＳ１０２では、対応点探索モー
ド、対応点補正モード、マニュアルモードの３つの対応
点決定モードのうちいずれかを選択させるメニューウイ
ンドウを表示装置１０１に表示し、操作者にキーボード
１０７或いはポインティングデバイス１０２により選択
させる。

【００８０】次に、ステップＳ１０３で、左右の画像上
の対応点が１組決定される（この処理内容は図２３に示
すフローチャートに従って後述する）。ステップＳ１０
４では、ステレオ画像と重畳して、ステップＳ１０３に
て決定した対応点の位置に対応点であることを表す記号
を表示する。ステップＳ１０５では、対応点の位置デー
タから三角測量の原理を用いて、三次元空間内での位置
を計算する。

【００８１】次に、ステップＳ１０６にて、ステップＳ
１０５で求めた三次元空間内の点を形状モデルの頂点と
して加え、物体の三次元形状モデルを作成する。作成さ
れた三次元幾何形状モデルのデータはステップＳ１０７
にて図２２の外部機器との入出力部１０３へ出力され、
表示装置１０１上でステレオ画像と重畳して形状モデル
の三角形パッチを表示する。

【００８２】ステップＳ１０８では、すでに決定された
対応点のうちいずれかを削除すると指定された場合に
は、ステップＳ１０９において削除対象の対応点をステ
レオ画像上に表示することを中止し、同時にこの対応点
に関するデータを削除する。さらに、ステップＳ１１０
でなんらかの手段を用いて、三次元幾何形状モデルを再
構成する。

【００８３】また、ステップＳ１０８において、すでに
決定された対応点のうちいずれかの削除指定がなかった
場合には、ステップＳ１１１へ進む。

【００８４】そして、ステップＳ１１１において、形状
モデルの作成終了の指定が行われるまで、上記ステップ
Ｓ１０２からステップＳ１０８を繰り返す。

【００８５】次に図２１のステップＳ１０３の処理内容
を図２３に従って説明する。

【００８６】先ず、図２３のステップＳ３０１にて、図
２２のポインティングデバイスを用いて表示された左右
いずれかの画像上で三次元幾何形状モデルの頂点となる
点を手動で指定する。以下、ステップＳ３０１で指定し
た点を「点Ａ」、点Ａの存在する画像を「画像Ｉf 」と
呼び、他方の画像を「画像Ｉs 」と呼ぶ。

【００８７】ステップＳ３０２にて点Ａの位置にステレ
オ画像に重畳して、指定点を表す記号を表示する。次
に、ステップＳ３０３で指定点を削除すると指定された
場合、ステップＳ３０４にて指定点の表示を中止すると
ともに指定点の位置データを削除する。また、ステップ
Ｓ３０３で指定点の削除指定がなかった場合、処理はス
テップＳ３０５に進む。

【００８８】ステップＳ３０５では、対応点決定モード
が“マニュアル”に設定されているか否かを判断する
（モード選択は図２１におけるステップＳ１０２で設定
されている）。マニュアルによる対応点決定モードが指
定されていると判断した場合には、ステップＳ３０６に
て、画像Ｉs 上にポインティングデバイス１０２に連動
するカーソルを移動した後、ステップＳ３０７にてポイ
ンティングデバイス１０２に設けられたボタンを押下す
ることで、手動で画像Ｉs 上の点を指定する。以下、ス
テップＳ３０７にて指定した点を「点Ｂm 」と呼ぶ。ス
テップＳ３０８では点Ａと点Ｂm の一対の組みを対応点
として決定する。

【００８９】一方、ステップＳ３０５で、対応点決定モ
ードがマニュアルモードに設定されていない場合にはス
テップＳ３０９に進み、それが探索モードに設定されて
いるか否かを判断する。

【００９０】対応点決定モードが探索モードに設定され
ている場合、処理はステップＳ３１０に進んで、画像Ｉ
s 上にある点Ａの対応点を自動的に探索し、対応点とし
て決定する。ステップＳ３１０の処理内容については、
図２４に従って後述する。

【００９１】また、ステップＳ３０９で、対応点決定モ
ードが探索モードに設定されていない場合、つまり、対
応点補正モードが指定されていると判断した場合には、
ステップＳ３１１に移る。ここでは、画像Ｉs 上にポイ
ンティングデバイス１０２を操作してカーソルを移動し
た後、ステップＳ３１２にてそのポインティングデバイ
ス１０２を用いて、点Ａと対応する点のおおよその位置
を手動で指定する。ステップＳ３１２で指定した点を
「点ＢC 」と呼ぶ。ステップＳ３１３で点ＢC と正確な
対応点との位置のずれを補正し、対応点として決定す
る。ステップＳ３１３については、図２５を用いて後述
する。

【００９２】以上、ステップＳ３０８、ステップＳ３１
０、或いはステップＳ３１３にて決定された対応点の位
置データはステップＳ３１４にて図２２の外部機器との
入出力部１０３から出力する。

【００９３】次に、ステップＳ３１０の対応点探索処理
を図２４を用いて説明する。画像データは離散的に配置
された格子点すなわち画素における３原色（赤，緑，
青）の濃淡値の組として表されるとする。左画像上の点
Ｐl 、右画像上の点Ｐr としたときの相関度ｃを次式で
定義する。

【００９４】

【数１】

【００９５】ただし、ＬQ（ｘ，ｙ）、ＲQ（ｘ，ｙ）
は、それぞれ点Ｐl ，点Ｐr を中心に切り出したＸ×Ｙ
画素の大きさの画像において、座標（ｘ，ｙ）の画素の
濃淡値とし、Ｑはカラー画像のＲＧＢそれぞれの色成分
を表す。また、各変数は次の通りとする。

【００９６】

【数２】

【００９７】

【数３】

【００９８】

【数４】

【００９９】

【数５】

【０１００】さて、図２４のステップＳ４０１では、画
像Ｉs 上にＸ1 ×Ｙ1 画素の大きさの領域を設け、探索
領域とする。ステップＳ４０２にて点Ａと探索領域内の
格子点Ｂs の相関値を計算する。ステップＳ４０３に
て、点Ｂs を探索領域内の別の格子点に移動する。ステ
ップＳ４０４にて、探索領域内のすべての格子点につい
て点Ａとの相関値を計算したと判断されるまで、ステッ
プＳ４０２からステップＳ４０３までを繰り返す。すべ
ての格子点の相関値の計算が終れば、ステップＳ４０５
にて探索領域の中で相関値が最大となる格子点の座標を
出力し、終了する。

【０１０１】次に、ステップＳ３１３の対応点補正処理
を図２５を用いて以下に説明する。図２５のステップＳ
５０１にて、画像Ｉs 上に点ＢC を中心としてＸ2 ×Ｙ
2 画素の大きさの領域を設け、探索領域とする。ステッ
プＳ５０２にて点Ａと探索領域内の格子点Ｂs の相関値
を計算する。相関の定義は式（１）〜式（５）と同様で
ある。ステップＳ５０３にて、点Ｂs を探索領域内の別
の格子点に移動する。ステップＳ５０４にて、探索領域
内のすべての格子点について点Ａとの相関値を計算した
と判断されるまで、ステップＳ５０２からステップＳ５
０３までを繰り返す。すべての格子点の相関値の計算が
終れば、ステップＳ５０５にて探索領域の中で相関値が
最大となる格子点の座標を出力し、終了する。以上の結
果、探索モードと比較して探索する範囲が狭い分、高速
に対応点を抽出することが可能になる。

【０１０２】図２３のステップＳ３０１で指定した点の
位置にステレオ画像と重畳して“×”の記号を表示した
例を図２６に、対応点探索処理により決定された対応点
の位置にステレオ画像と重畳して“□”の記号を表示し
た例を図２７に示す。

【０１０３】図２３のステップＳ３０１で指定した点の
位置にステレオ画像と重畳して“×”の記号を表示した
例を図２８に、図２３のステップＳ３１２で指定した点
の位置に“×”の記号、対応点補正処理により決定され
た対応点の位置にステレオ画像と重畳して“□”の記号
を表示した例を図２９に示す。また、図３０にステレオ
画像に重畳して形状モデルの三角形パッチを表示した例
を示す。

【０１０４】［第３の実施例の説明］次に、本発明に係
る第３の実施例を説明する。

【０１０５】上記第１、第２の実施例において、ステレ
オ画像上で濃度一定あるいは滑らかに階調が変化するよ
うな、明確なテクスチャや特徴点がない領域において
は、画像上の対応点を決定することは困難である。この
ような場合には、画像上に補助線を引くことで対応点を
求めるというのが、第３の実施例である。

【０１０６】図１６は第３の実施例における装置構成を
示す。図１６において、２１はステレオ画像撮影装置
で、ＣＣＤカメラやスチールビデオカメラが用いられ
る。撮影されたステレオ画像は、デジタル画像データと
して直接コンピュータ２３に送られるか、あるいはフロ
ッピーディスクを介し、フロッピーディスクドライブ２
２によりコンピュータに入力される。入力されたステレ
オ画像にコンピュータ上で各種処理を施し、撮影対象の
三次元位置・形状を求める。得られた三次元形状を元
に、任意の視点からながめたときの画像を作成したディ
スプレイ２４に表示する。また得られた三次元形状デー
タをファイルに保存し、他のＣＡＤやＣＧ等のシステム
に転送することもできる。なお、コンピュータ２３に
は、キーボードやポインティングデバイス（実施例では
マウス）等の装置はハードディスク装置、フロッピーデ
ィスク装置を備えることは勿論、ディスプレイ２４に像
を表示するためのＶＲＡＭ、装置の中枢であるＣＰＵ、
ＲＡＭ、ＲＯＭ等といった構成を備えている。

【０１０７】図１７は、コンピュータ上での処理の概略
フローである。

【０１０８】まずステレオ画像を入力してディスプレイ
上に表示する（ステップ３１）。次に、各々のステレオ
画像において、対応する点をマウス等により指定する
（ステップ３２）。左右のステレオ画像上で指定された
対応点の位置から、その点の実際の三次元空間中での位
置を計算する（ステップ３３）。上記手順により得られ
た点群から、それらを連結して対象物体の表面を求める
（ステップ３４）。そして得られた対象物体の表面を順
次ディスプレイ上に表示する（ステップ３５）。以上の
操作を繰り返す事により、より完全な対象物体の三次元
形状表現を順次作成する。最後に得られた形状データを
ファイルにセーブし（ステップ３６）、後で再入力・編
集を施したり、ＣＡＤやＣＧ等の他のシステムに転送す
る事ができる。

【０１０９】上記ステップ３２の対応点指定において
は、例えば図１８に示すステレオ画像では、点Ｐ１とＰ
１′が対応点であり、オペレータはポインティングデバ
イス等を用いてそれらを各々の画像上で指定する。同様
にＰ２とＰ２′、Ｐ３とＰ３′、Ｐ４とＰ４′を対応付
ける事により、物体表面Ｓ１の三次元空間中での位置を
含んだ形状データが得られる。同様に表面Ｓ２，Ｓ３が
得られる。尚、形状データを得る手法としては、先に説
明した第１の実施例に従うものとする。

【０１１０】ここで、図１９に示すようなステレオ画像
を考える。この場合、面Ｓ１の頂点の１つが見えていな
いため、このままでは面Ｓ１の形状データを得る事はで
きない。また、箱の置かれている床面上に特徴点がない
ため、その形状データも求めることができない。

【０１１１】そこで本第３の実施例では、表示されたス
テレオ画像上にグラフィカルユーザインターフェイスを
用いて補助線を引く。以下に、補助線の指定方法を図２
０を用いて説明する。

【０１１２】まず直線が通るべき位置Ａでマウスボタン
を押す（図２０（ａ））。続いてマウスボタンを押した
まま別の位置にマウスを移動する（この操作は一般に
“ドラッグ”と呼ばれる）。すると移動に伴って、点Ａ
とその時点での位置Ｂを通る直線が画像上に引かれる
（図２０（ｂ））。そこで点Ｂの位置を移動する事によ
り、画像上に表示された直線を見ながら、直線の傾きを
決める事ができる（図２０（ｃ））。そして、押したま
まのマウスボタンをはなす事により、直線が決定され、
画像上に表示される（図２０（ｄ））。以上説明したよ
うに、マウスの一回の操作により、画面上に表示された
直線を見ながら対話的に任意の直線を引く事ができる。

【０１１３】以上の原理の下、本第３の実施例の特徴
は、入力されたステレオ画像中の見えない部分の特徴点
を設定しようとするものである。図１５を用いて説明す
る。

【０１１４】図１５は上記操作により、図１９のステレ
オ画像に対し何本かの補助線を引いた結果を示す。図で
補助線は点線で示されている。ここで、補助線Ｌ１とＬ
２の交点から、見えていなかった頂点Ｐ１の位置が求め
られる。これを各々のステレオ画像で行う事により、見
えていなかった頂点Ｐ１の対応付けを行う事ができ、そ
の結果、面Ｓ１の形状データを得る事ができる。

【０１１５】また同様に、補助線Ｌ１〜Ｌ５の交点か
ら、床面上の仮想上の点Ｐ２〜Ｐ５を求める事ができ
る。ここで、Ｐ２，Ｐ３，Ｐ５は補助線同士の交点とし
て、Ｐ４は補助線と画像内に元々含まれていた線との交
点として求めている。この結果、床面の部分平面Ｓ２
（頂点Ｐ２・Ｐ３・Ｐ４・Ｐ５からなる面で、図で１点
鎖線で示されている面）の形状データを得る事ができ
る。

【０１１６】以上説明したように、計算機に入力された
ステレオ画像をディスプレイ上に表示し、グラフィカル
ユーザインターフェイスを用いて、その表示されたステ
レオ画像上に補助線を引き、その補助線と画像に含まれ
る直線または曲線との交点、あるいは複数の補助線同士
の交点を対応点として用いる事により、特徴（模様）の
ない平面上の点でも対応付けを行なう事ができ、対象の
三次元形状を求める事ができる。また、元々見えていな
かった頂点に関しても、推測により対応点として用いる
ことができる。

【０１１７】従って、こうして得られたステレオ画像か
ら、別の視点から見た場合のステレオ画像を作成するこ
とも可能になる。

【０１１８】前記実施例では、補助線を引くのに、ある
一点を通る直線を指定する方法で行なったが、ディスプ
レイ上で直線を指定するいかなる方法でも適用可能であ
る。例えば、画像上で任意の２点を指定することによ
り、その２点を通る直線として、指定することもでき
る。

【０１１９】また前記実施例では、ステレオ画像の対応
付けを、オペレータが対応点を指定することにより行な
っていたが、補助線を引いたステレオ画像を用いて、い
わゆるステレオマッチングにより、コンピュータで自動
的に対応点を求めることも可能である。

【０１２０】また、上記実施例では補助線として直線に
ついて説明した。直線で隠れた点位置を特定できる方
が、操作者及びＣＰＵ等の負荷は少なくて済むが、場合
によっては円弧や他の曲線で隠れた点位置を指定するよ
うにしても良い。

【０１２１】［第４の実施例］上記第３の実施例では、
対応点の位置をステレオ画像上で確認することが可能で
ある。本第４の実施例では、これに加えてある視線方向
から見た三次元幾何形状モデルの三角形パッチを図２２
の表示装置１０１上に表示する機能と視線方向を変化さ
せる機能を備えることによって、モデルの形状を三次元
的に確認することが可能になる。図３１は三次元幾何形
状モデルの三角形パッチの表示例であり、図３２は図３
１と異なる視線方向から見た三次元幾何形状モデルの例
を示している。

【０１２２】［第５の実施例］第４の実施例の幾何形状
モデルの三次元表示機能において、三角形パッチの表面
に左右のいずれかのステレオ画像から得られるテクスチ
ャをマッピングすることが可能である。

【０１２３】図３３はテクスチャをマッピングした三次
元幾何形状モデルの画像の例である。図３４は図２３と
異なる視線方向から見た三次元幾何形状モデルの例であ
る。

【０１２４】［第６の実施例］第３の実施例では、対応
点の三次元位置計算および三次元幾何形状モデル作成処
理を行なった後に、対応点の削除処理を行なっている。
これに対し、表示された対応点の決定結果が妥当でない
と判断される場合には、その対応点については対応点の
三次元位置計算および三次元幾何形状モデル作成処理を
行なわない例を第６の実施例として示す。

【０１２５】本第６の実施例の全体的な流れを図３５に
示す。図示において、ステップＳ１５０１，ステップＳ
１５０２，ステップＳ１５０３，ステップＳ１５０４，
ステップＳ１５０７，ステップＳ１５０８，ステップＳ
１５１０，ステップＳ１５０９は、それぞれ図２１のス
テップＳ１０１，ステップＳ１０２，ステップＳ１０
３，ステップＳ１０４，ステップＳ１０５，ステップＳ
１０６，ステップＳ１０７，ステップＳ１１１と同様で
ある。

【０１２６】図３５において、ステップＳ１５０５で採
用すると判断された場合、その後の処理は第３の実施例
と同様である。一方採用しないと判断された場合は、ス
テップＳ１５０６で対応点をステレオ画像上に表示する
ことを中止し、同時に採用しない対応点のデータを削除
する。

【０１２７】［第７の実施例］既存の技術である各種の
エッジ抽出アルゴリズムにより、画像中のエッジを抽出
することが可能である。このエッジの端点を図２３のス
テップＳ３０１にてマウスを用いて手動で指定する点の
代わりとする。

【０１２８】［第８の実施例］既存の技術である各種の
エッジ抽出アルゴリズムにより、画像中のエッジを抽出
することが可能である。図２３のステップＳ３０１で指
定した点の周りの画像上から、エッジの端点を探索し、
マウスを用いて手動で指定した点の代わりに用いること
により、指定点の位置を補正する。

【０１２９】［第９の実施例］対応点決定モードとし
て、対応点探索モードと対応点補正モードのみを具備す
る。

【０１３０】［第１０の実施例］対応点決定モードとし
て、対応点探索モードとマニュアルのみを具備する。

【０１３１】［第１１の実施例］対応点決定モードとし
て、対応点補正モードとマニュアルモードのみを具備す
る。

【０１３２】［第１２の実施例］対応点決定モードとし
て、対応点探索モードのみを具備する。

【０１３３】［第１３の実施例］対応点決定モードとし
て、対応点補正モードのみを具備する。

【０１３４】［第１４の実施例］式（１）では、相関度
を対照とする点周辺の画素の濃淡値の類似度として定義
している。これに対して、相関度を濃淡値以外の画像特
徴の類似度を用いて定義することも可能である。

【０１３５】［第１５の実施例］実施例１の対応点決定
モードのうち対応点補正モードを用いる場合、図２３の
ステップＳ３０１で指定した点を基準点として、ステッ
プＳ３１２で指定した点の位置を補正する。これに対し
て、ステップＳ３１２で指定した点を基準点として、ス
テップＳ３０１で指定した点の位置を補正することも可
能である。

【０１３６】［第１６の実施例］図２３のステップＳ３
０６とステップＳ３１１を省き、その代わりにステップ
Ｓ３０７およびステップＳ３１２において他方の画像上
の点を指定した場合のみ、それぞれステップＳ３０８お
よびステップＳ３１３に進むことが可能とすることがで
きる。

【０１３７】以上説明したように本第３〜第１６の実施
例によれば、次のような効果を得ることができる。すな
わち、 （０）ステレオ画像中の対応点を対話的に指定する手段
を設けたことにより、ステレオ画像から物体の三次元形
状を求めることが可能となった。 （１）ステレオ画像中に複数の三次元物体が含まれてい
るような場合でもステレオ画像から対話的に三次元形状
を求める手段に複数の三次元形状を登録、管理する手段
を設けることにより、複数の物体の三次元形状を別々に
扱うことか可能となった。 （２）また、登録した複数の三次元形状データを切り替
えて表示する手段を設けることによって、複数物体の三
次元的な関係を同時に表示し確認することができる。 （３）更に、単に三次元形状が入力できるだけでなく、
テクスチャ情報も同時に取り込んでいるため、別途テク
スチャ情報を入力しなくても、三次元のテクスチャマッ
ピング表示を行うことが可能になった。 （４）また、Delaunay三角網を用いた面生成方法を用い
る場合の、本来は扱えない凹領域を有する物体も、複数
の凸物体の集合として別々分割して扱うことによって、
凹領域を持つ物体も扱うことができるようになった。

【０１３８】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって実現する場合にも適用でき
ることはいうまでもない。

【０１３９】

【発明の効果】以上説明したように本発明によれば、ス
テレオ画像を構成する個々のオブジェクトを独立させる
ことが可能になる。

【０１４０】また、他の発明によれば、与えられたステ
レオ画像の隠れた部位におけるデータを抽出すること
で、より正確な三次元データを抽出することが可能にな
る。

【０１４１】また、他の発明によれば、ステレオ画像か
ら三次元データを抽出するときの操作環境を向上させる
ことが可能になる。

【０１４２】

【図面の簡単な説明】

【図１】第１の実施例における装置のブロック構成図で
ある。

【図２】第１の実施例におけるプログラムモジュールを
示す図である。

【図３】第１の実施例における初期時におけるステレオ
画像表示状態を示す図である。

【図４】第１の実施例における動作処理内容を示すフロ
ーチャートである。

【図５】第１の実施例における点リストの構造を示す図
である。

【図６】第１の実施例における面リストの構造を示す図
である。

【図７】第１の実施例で用いるオブジェクト名と点リス
ト、面リストの対応表を示す図である。

【図８】第１の実施例におけるオブジェクト切り替え処
理のフローチャートである。

【図９】第１の９施例におけるオブジェクト登録処理の
フローチャートである。

【図１０】第１の実施例におけるオブジェクト読み込み
処理のフローチャートである。

【図１１】第１の実施例におけるオブジェクト保存処理
のフローチャートである。

【図１２】第１の実施例における表示確認処理のフロー
チャートである。

【図１３】第１の実施例における編集途中の表示画面の
状態を示す図である。

【図１４】第１の実施例における編集途中の表示画面の
状態を示す図である。

【図１５】第３の実施例における、補助線を描画した状
態を示すずである。

【図１６】第３の実施例におけるシステム構成を示す図
である。

【図１７】第３の実施例における動作処理手順を示す図
である。

【図１８】ステレオ画像の点の関係を示す図である。

【図１９】面を正確に定義する場合の不都合が発生する
ステレオ画像の一例を示す図である。

【図２０】第３の実施例における補助線の指定方法を示
す図である。

【図２１】第２の実施例における装置の全体の処理手順
を示すフローチャートである。

【図２２】第２の実施例における装置の構成図である。

【図２３】第２の実施例における対応点決定処理内容を
示すフローチャートである。

【図２４】第２の実施例における対応点探索処理内容を
示すフローチャートである。

【図２５】第２の実施例における対応点補正処理内容を
示すフローチャートである。

【図２６】第２の実施例における対応点探索モードにお
ける点指定時の表示画面の状態を示す図である。

【図２７】第２の実施例における対応点探索モード処理
の結果の表示画面の状態を示す図である。

【図２８】第２の実施例における対応点補正モードにお
ける点指定時の表示画面の状態を示す図である。

【図２９】第２の実施例における対応点補正モード処理
の結果の表示画面の状態を示す図である。

【図３０】第２の実施例における三次元幾何形状モデル
の作成例を示す図である。

【図３１】ワイヤーフレームで表現した三次元幾何形状
モデルの一例を示す図である。

【図３２】ワイヤーフレームで表現した三次元幾何形状
モデルの一例を示す図である。

【図３３】テクスチャマッピングした三次元幾何形状モ
デルの一例を示す図である。

【図３４】テクスチャマッピングした三次元幾何形状モ
デルの一例を示す図である。

【図３５】第６の実施例における処理内容を示すフロー
チャートである。

【符号の説明】 １−１ 外部機器の入出力部 １−２ ハードディスク １−３ 主記憶装置 １−４ ＣＰＵ １−５ ビットマップディスプレイ １−６ キーボード １−７ ポインティングデバイス

───────────────────────────────────────────────────── フロントページの続き (72)発明者 内山 晋二 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (56)参考文献 特開 平２−187878（ＪＰ，Ａ) 特開 平５−81410（ＪＰ，Ａ) 特開 平１−235140（ＪＰ，Ａ) 特開 平６−50736（ＪＰ，Ａ) 特開 平２−216403（ＪＰ，Ａ) 特開 平６−50737（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 17/40 G01B 11/24 G06T 1/00 H04N 13/00 - 13/04 ＣＳＤＢ（日本国特許庁)

Claims (20)

(57)【特許請求の範囲】
1. 【請求項１】 表示画面上の第１の表示領域と第２の表
   示領域に、ステレオ画像を構成する左側の画像と右側の
   画像をそれぞれ表示する表示制御手段と、 表示されている画像中のオブジェクトの切り換えを指示
   する指示手段と、 表示されたそれぞれの画像の対応する対応点を入力する
   入力手段と、 前記指示手段の指示に基づき、前記入力手段で入力され
   た対応点をオブジェクト単位で管理する管理手段とを備
   えることを特徴とする画像処理装置。
2. 【請求項２】 前記管理手段は、 前記入力手段で入力された対応点に基づく三次元座標を
   算出する算出手段と、 前記算出手段で算出された三次元座標データの数組を単
   位として、多角形を形成する多角形形成手段とを含み、 前記多角形形成手段で形成された多角形の集合によって
   １つのオブジェクトの表面を独立して管理することを特
   徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記多角形形成手段は、三角形を形成す
   ることを特徴とする請求項２に記載の画像処理装置。
4. 【請求項４】 前記表示制御手段は、前記表示画面上に
   第３の表示領域を表示し、該第３の表示領域に前記多角
   形形成手段で形成された三次元座標データに基づくオブ
   ジェクトを表示することを特徴とする請求項１乃至３の
   いずれか１項に記載の画像処理装置。
5. 【請求項５】 表示画面上の第１の表示領域と第２の表
   示領域に、ステレオ画像を構成する左側の画像と右側の
   画像をそれぞれ表示する表示工程と、 表示されている画像中のオブジェクトの切り換えを指示
   する指示工程と、 表示されたそれぞれの画像の対応する対応点を入力する
   入力工程と、 前記指示工程の指示に基づき、前記入力工程で入力され
   た対応点をオブジェクト単位で管理する管理工程とを備
   えることを特徴とする画像処理方法。
6. 【請求項６】 前記管理工程は、 前記入力手段で入力された対応点に基づく三次元座標を
   算出する算出工程と、 前記算出工程で算出された三次元座標データの数組を単
   位として、多角形を形成する多角形形成工程とを含み、 前記多角形形成工程で形成された多角形の集合によって
   １つのオブジェクトの表面を独立して管理することを特
   徴とする請求項５に記載の画像処理方法。
7. 【請求項７】 前記多角形形成工程は、三角形を形成す
   ることを特徴とする請求項６に記載の画像処理方法。
8. 【請求項８】 前記表示制御工程は、前記表示画面に第
   ３の表示領域を表示し、該第３の表示領域に前記多角形
   形成工程で形成された三次元座標データに基づくオブジ
   ェクトを表示することを特徴とする請求項５乃至７のい
   ずれか１項に記載の画像処理方法。
9. 【請求項９】 表示画面上の第１の表示領域と第２の表
   示領域に、ステレオ画像を構成する左側の画像と右側の
   画像をそれぞれ表示する表示制御手段と、 表示されたそれぞれの画像の対応する対応点を入力する
   入力手段と、 前記入力手段で入力された対応点が所定の数になる毎
   に、前記表示画面上の第３の表示領域に多角形を表示す
   る多角形表示手段とを備えることを特徴とする画像処理
   装置。
10. 【請求項１０】 前記多角形表示手段は、 前記入力手段で入力された対応点に基づく三次元座標を
    算出する算出手段と、 前記算出手段で算出された三次元座標データの数組を単
    位として、多角形を形成する多角形形成手段とを含み、 前記多角形形成手段で形成された多角形の集合によって
    １つのオブジェクトの表面として表示することを特徴と
    する請求項９に記載の画像処理装置。
11. 【請求項１１】 前記多角形形成手段は、三角形を形成
    することを特徴とする請求項１０に記載の画像処理装
    置。
12. 【請求項１２】 表示画面上の第１の表示領域と第２の
    表示領域に、ステレオ画像を構成する左側の画像と右側
    の画像をそれぞれ表示する表示制御工程と、 表示されたそれぞれの画像の対応する対応点を入力する
    入力工程と、 前記入力工程で入力された対応点が所定の数になる毎
    に、前記表示画面上の第３の表示領域に多角形を表示す
    る多角形表示工程とを備えることを特徴とする画像処理
    方法。
13. 【請求項１３】 前記多角形表示工程は、 前記入力工程で入力された対応点に基づく三次元座標を
    算出する算出工程と、 前記算出工程で算出された三次元座標データの数組を単
    位として、多角形を形成する多角形形成工程とを含み、 前記多角形形成工程で形成された多角形の集合によって
    １つのオブジェクトの表面として表示することを特徴と
    する請求項１２に記載の画像処理方法。
14. 【請求項１４】 前記多角形形成工程は、三角形を形成
    することを特徴とする請求項１３に記載の画像処理方
    法。
15. 【請求項１５】 表示画面上の第１の表示領域と第２の
    表示領域に、ステレオ画像を構成する左側の画像と右側
    の画像をそれぞれ表示する表示制御手段と、 表示されているそれぞれの画像に補助線を描画する補助
    線描画手段と、 前記描画された補助線に基づき、表示されたそれぞれの
    画像の対応する対応点を入力する入力手段と、 前記入力手段で入力された対応点に基づき、三次元座標
    データを求める演算手段とを備えることを特徴とする画
    像処理装置。
16. 【請求項１６】 前記補助線描画手段は、直線、或いは
    曲線を描画することを特徴とする請求項１５に記載の画
    像処理装置。
17. 【請求項１７】 前記演算手段は、前記補助線の交点位
    置に基づき演算を行うことを特徴とする請求項１５に記
    載の画像処理装置。
18. 【請求項１８】 表示画面上の第１の表示領域と第２の
    表示領域に、ステレオ画像を構成する左側の画像と右側
    の画像をそれぞれ表示する表示制御工程と、 表示されているそれぞれの画像に補助線を描画する補助
    線描画工程と、 前記描画された補助線に基づき、表示されたそれぞれの
    画像の対応する対応点を入力する入力工程と、 前記入力工程で入力された対応点に基づき、三次元座標
    データを求める演算工程とを備えることを特徴とする画
    像処理方法。
19. 【請求項１９】 前記補助線描画工程は、直線、或いは
    曲線を描画することを特徴とする請求項１８に記載の画
    像処理方法。
20. 【請求項２０】 前記演算工程は、前記補助線の交点位
    置に基づき演算を行うことを特徴とする請求項１８に記
    載の画像処理方法。