JPH0644346A - 距離画像処理方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 距離画像データより、少ないデータ量で精度
の高い３次元形状モデルを作成し、また、簡単な操作で
アニメーション機能を実現する。 【構成】 入力された距離画像より当該距離画像の表す
物体表面を被覆する多角形群を求める距離画像処理方法
において、前記入力された距離画像に基いて、物体表面
を構成する面の種類を分類する面種分類工程（ステップ
Ｓ２０２）と、分類された面種に応じて適切な多角形パ
ッチを求め、前記物体の多角形パッチモデルを作成する
多角形パッチモデル作成工程（ステップＳ２０３）とを
備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力される物体表面の
３次元座標データの面種を分類し、それぞれに応じた最
適の３次元形状モデルを作成することを図った３次元形
状モデル作成装置に関する。

【０００２】更に、本発明は、距離画像入力装置や距離
画像DBより入力される距離データを利用して、CAD やCG
で広範に利用される3D形状データを作成した後、そのデ
ータを利用し、簡易に３次元アニメーション機能を実現
する事を目的とした、３次元形状モデル作成・アニメー
ション装置に関するものである。

【０００３】すなわち、簡易に又半自動的に3D形状モデ
ルを入力し、得られた物体を用いて簡易に変形アニメー
ション動作を実行するシステムである。

【０００４】

【従来の技術】従来の３次元形状モデル作成装置とし
て、例えば、物体の表面の３次元位置座標データを、レ
ーザレンジファインダなどの３次元座標計測装置により
入力し、この３次元位置座標の全データを頂点とする三
角形パッチにより３次元形状モデルを作成しようとした
ものや、この頂点とする３次元位置座標の隣接点との間
隔を広げるなどして、元のデータの一部を頂点とする三
角形パッチにより、３次元形状モデルを作成しようとし
たものがある。この３次元形状モデル作成装置にあって
は、３次元データから３次元形状モデルを作成すること
ができる。

【０００５】従来の３次元形状モデル作成装置として、
例えば、クレイモデルなどの実物体の表面の３次元位置
データを、３次元デジタイザなどの接触型３次元座標計
測装置により入力し、この３次元データから３次元形状
モデルを作成しようとしたものや、空間切断方式などの
３次元計測装置により入力し、この３次元データから３
次元形状モデルを作成しようとしたものがある。

【０００６】また、得られた３次元物体を利用して、各
種アニメーションやCAD/CAM 等での利用が試みられてい
る。

【０００７】

【発明が解決しようとする課題】しかし、従来の３次元
形状モデル作成装置では、３次元形状モデルは、レーザ
レンジファインダなどの３次元座標計測装置により入力
した物体表面の３次元位置座標データから、物体表面上
全域にわたり均一に代表点を選び、この均一な代表点を
頂点とする多角形パッチにより作成されているので、精
度を高めようとすると、形状モデルのデータ量が非常に
多くなるという問題点があった。

【０００８】また、頂点とする３次元位置座標の隣接点
との間隔を広げるなどした、部分データを頂点とする三
角形パッチにより作成した３次元形状モデルは、データ
の量は多少減らすことができるが、凹凸が激しい形状が
複雑な部分や、曲面などでは正しく物体表面を記述する
ことができなかった。反面、大きな平面上などにも他の
部分と等しい間隔で多角形パッチの頂点が置かれるので
無駄なデータも存在した。

【０００９】また、従来3Dアニメーション映像を作成す
るには、CGアニメータの専門家が高価なシステムを利用
してのみ可能であり、素人には3D形状のモデリング作成
や動作を記述するのには多くの困難を抱えていた。これ
らのシステムは手作業で、あるいは職人芸的な知識によ
り利用が可能で、多くの作業、例えばモデリング、動作
指定等は自動化されていないという欠点があった。

【００１０】本発明は上述した従来技術の欠点を除去す
るものであり、その目的とするところは、凹凸が激しく
形状が複雑な部分や曲面などでは密な間隔で代表点を選
び、大きな平面などでは疎な間隔で代表点を選んで多角
形パッチの頂点とすることにより、物体の形状を正しく
表わしかつ、データ量の小さい３次元形状モデルを作成
することを可能とすることにある。

【００１１】

【課題を解決するための手段】本発明距離画像処理方法
は、上記課題を解決するために、入力された距離画像に
基いて、物体表面を構成する面の種類を分類する面種分
類工程と、分類された面種に応じて適切な多角形パッチ
を求め、前記物体の多角形パッチモデルを作成する多角
形パッチモデル作成工程とを具える。

【００１２】また、本発明の他の態様によれば、距離画
像処理方法において、既に求められた多角形群に覆われ
ていない表面上の点を検出する検出工程と、前記検出工
程により検出された点を１頂点とする多角形の他の頂点
の候補を、他の表面上の点より選出する頂点候補選出工
程と、前記選出された各点が、既に求められた多角形群
に覆われているか否かを判定する判定工程と、前記各点
のいずれの点も否と判定された場合、前記検出された点
における法線方向と、前記選出された各点における法線
方向とを比較する比較工程とを具える。該比較工程の各
比較結果において、方向の違いがいずれも所定量以下の
場合、前記検出された点を１頂点とする多角形の他の頂
点の候補として、前記選出された各点を覆う多角形を構
成する点を、他の表面上の点より改めて選出する。

【００１３】また、他の態様では、入力された距離画像
より当該距離画像より３次元形状モデルを作成するモデ
ル作成工程と、該モデル作成工程で得られた３次元形状
モデルを変形するための、変形動作のタイプ及びパラメ
ータを指示する変形指示工程と、該変形指示工程の指示
に基づき、前記３次元形状モデルを順次変形させた画像
を生成する画像生成工程とを具える。

【００１４】更に他の態様によれば、距離画像を入力す
る入力手段と、入力された距離画像より当該距離画像の
表す物体表面を被覆する多角形群を求める距離画像処理
装置において、該入力手段より入力された距離画像に基
いて、当該距離画像の表す物体表面を構成する面の種類
を分類する面種分類手段と、分類された面種に応じて適
切な多角形パッチを求め、前記物体表面を記述する多角
形パッチモデルを作成する多角形パッチモデル作成手段
とを具える。

【００１５】また、入力された距離画像より当該距離画
像の表す物体表面を被覆する多角形群を求める距離画像
処理装置に、既に求められた多角形群に覆われていない
表面上の点を検出する検出手段と、前記検出手段により
検出された点を１頂点とする多角形の他の頂点の候補
を、他の表面上の点より選出する頂点候補選出手段と、
前記選出された各点が、既に求められた多角形群に覆わ
れているか否かを判定する判定手段と、前記各点のいず
れの点も否と判定された場合、前記検出された点におけ
る法線方向と、前記選出された各点における法線方向と
を比較する比較手段とを具える。

【００１６】また、入力された距離画像より当該距離画
像より３次元形状モデルを作成するモデル作成手段と、
該モデル作成手段で得られた３次元形状モデルを変形す
るための、変形動作のタイプ及びパラメータを指示する
変形指示手段と、該変形指示手段の指示に基づき、前記
３次元形状モデルを順次変形させた画像を生成する画像
生成手段とを具える。

【００１７】

【作用】本発明は、かかる構成により、入力された距離
画像に基いて、物体表面を構成する面の種類を分類し、
分類された面種に応じて適切な多角形パッチを求め、前
記物体の多角形パッチモデルを作成するものである。

【００１８】また、本発明の他の態様によれば、既に求
められた多角形群に覆われていない表面上の点を検出
し、検出された点を１頂点とする多角形の他の頂点の候
補を、他の表面上の点より選出し、選出された各点が、
既に求められた多角形群に覆われているか否かを判定
し、前記各点のいずれの点も否と判定された場合、前記
検出された点における法線方向と、前記選出された各点
における法線方向とを比較し、各比較結果において、方
向の違いがいずれも所定量以下の場合、前記検出された
点を１頂点とする多角形の他の頂点の候補として、前記
選出された各点を覆う多角形を構成する点を、他の表面
上の点より改めて選出するように制御するものである。

【００１９】また、更に他の態様では、入力された距離
画像より３次元形状モデルを作成し、得られた３次元形
状モデルを変形するための、変形動作のタイプ及びパラ
メータを指示して、指示に基づき、前記３次元形状モデ
ルを順次変形させた画像を生成するものである。

【００２０】

【実施例】以下に、本発明の実施例の処理手順を詳述す
る前に、簡単に言葉の定義を行っておく。

【００２１】まず、「距離画像」とは、距離計測センサ
により測定された物体表面の各点と基準面との垂直距離
( 平行射影) 、を与えた距離画像である。データ形式と
しては、(X,Y) の正方２次元格子上の各点において、距
離(Z値) が格納される。最近Computer Vision やComput
er Graphics 分野で利用され始めたデータである。

【００２２】次に、「形状モデル」とは、距離画像とは
異なり、３Ｄ物体を頂点・辺等の幾何情報として、表現
するものであり、例えば記述レベルの低いものから順に
メッシュ、ポリゴン、二次曲面、自由曲面のモデルがあ
る。多くのＣＧやＣＡＤシステムで利用されているデー
タ形式である。

【００２３】「メッシュモデル」とは、ｘ，ｙ座標を等
間隔に配置した３角形格子モデルであり、図 に示すよ
うに、格子形状の対角線を結び、３角形ポリゴン列に距
離データを変換することにより、３Ｄ幾何データを作成
することができる。このモデルは、基本的に簡単なフィ
ルタプログラムによって容易に実現できる。

【００２４】「ポリゴンモデル」とは、任意のてん列に
より構成されるもので、同一平面上にある多角形であ
る。ポリゴンデータ構造を図 に示す。このデータ構造
は、大きく２つに分けられる。前半部分はポリゴンを構
成する頂点情報を指定する部分で、必須なデータとして
頂点情報の（ｘ，ｙ，ｚ）値と、オプションの頂点にお
ける法線ベクトル（Ｎ_x ，Ｎ_y ，Ｎ_z)値である。後半で
は指定された頂点情報に対して、ポリゴンを構成する稜
線の接続情報を示し、最初にポリゴンを構成する稜線数
ｎ、そしてポリゴンを構成するｎ個のインデックス値が
続く。

【００２５】「自由曲面モデル」とは、もっとも記述能
力が高く、ＣＡＤ等でよく用いられているモデルであ
り、自由曲面として、BezierやNURBS(Non Rational B-S
plineSurface)曲面が知られている。手法としては、"An
Adaptive SubdivisionMethod for Surface-Fitting fr
om Sampled Data", Francis Schm Computer Graphics,
vol. 20, number 4, 1986に詳しい。

【００２６】（実施例１）以下、図面を参照して本発明
の第１実施例を詳細に説明する。

【００２７】図１は、本実施例を含む以下の実施例に共
通の距離画像処理システムの基本構成を示すブロック図
である。

【００２８】同図において、１は各種処理手順を記憶す
るためのプログラムメモリ、２は、本システムの処理に
必要な情報、及び入出力データを記憶するためのデータ
メモリ、３は、プログラムメモリ１に記憶されている処
理手順に従って各種処理を行い、装置各部を制御するた
めのＣＰＵである。

【００２９】４は、本システムで得られた３Ｄ形状モデ
ルを表示したり、ユーザからの指示をインタラクティブ
に表示する表示部であり、本実施例では、マルチウィン
ドウ形式の表示部であるとする。５は、ユーザからの指
令を入力するマウスである。６はキーボード(KB)で、ユ
ーザがプログラムを作成したり、本システムに指令を入
力するのに使用される。更に、７はレーザレンジファイ
ンダであり、物体表面の各点と基準面との垂直距離を測
定し、距離画像を入力する。

【００３０】図２は、実施例１におけるプログラムメモ
リ１、データメモリ２の構成及び実施例１の全体処理の
フローチャートを示す図である。

【００３１】図２において、（ａ）は、実施例２におけ
るプログラムメモリ１の内容を示す図である。同図にお
いて、２０１は本装置に距離画像を入力するための距離
画像入力処理プログラム、２０２は与えられた距離画像
から面種マップを作成するための面種分類処理プログラ
ム、２０３は、面種マップに基づいて距離画像から多角
形パッチモデルを作成するための多角形パッチモデル作
成プログラムである。

【００３２】また、同図において、（ｂ）は本実施例に
おけるデータメモリ２の構成を表し、２１１は入力され
た距離画像、２１２は作成された面種マップ、２１３は
作成された多角形パッチモデルである。

【００３３】次に、図２の（ｃ）に示すフローチャート
に基づき、本実施例の全体の処理の流れを説明する。ま
ず、ステップＳ２１にて、距離画像入力処理プログラム
２０１に従って、レーザレンジファインダ７による物体
の測定等により、距離画像を入力し、距離画像データ２
１１として格納する。この入力は、実際に測定を行なっ
て入力するものに限らず、例えば画像データベースに蓄
積されたデータを入力するようなものであってもよい。

【００３４】次に、ステップＳ２２で、面種分類処理プ
ログラム２０２に従い、入力された距離画像データ２１
１（物体の表面を構成する各点の３次元座標データ）を
処理して、物体表面を構成する面の種類を分類し、面種
マップ２１２を作成する。

【００３５】そして、ステップＳ２３で、多角形パッチ
モデル作成処理プログラム２０３に従い、距離画像デー
タ２１１と面種マップ２１２に基づき、分類された面種
にそれぞれ最適な多角形パッチにより、多角形パッチモ
デル２１３を作成する。

【００３６】図３は、ステップＳ２２の面種分類処理の
詳細を示すフローチャートである。

【００３７】まず、ステップＳ３１で、３次元座標デー
タの２次元配列として、画像の各画素に距離値を持つ距
離画像を入力すると、ステップＳ３２で、適当な大きさ
のウインドウを用いて、最小自乗近似により局所曲面の
当てはめを行い、ステップＳ３３で、当てはめた局所曲
面から、または他の方法で各画素での１次、２次偏微分
を計算し、ステップＳ３４で、ガウス曲率及び平均曲率
を計算し、ステップＳ３５で、求められた２つの曲率の
符号から、曲率符号マップを作成し、ステップＳ３６
で、この符号により、図４に示す８つの面種に分類し、
それぞれのコード（面種クラス番号）を画素値とする面
種クラス画像を生成する。

【００３８】なお、ここで簡単に説明した曲面分類のア
ルゴリズムは論文（例えば 横矢直和，Ｍａｒｔｉｎ
Ｄ．Ｌｅｖｉｎｅ：“微分幾何学特徴に基づく距離画像
分割のためのハイブリッド手法”，情報処理学会誌，Ｖ
ｏｌ．３０，Ｎｏ．８，Ａｕｇ．１９８９）で紹介され
ているため、ここでは詳細な説明を省略する。

【００３９】図５は、多角形パッチモデル作成プログラ
ム２０３に対応するフローチャートであり、図６は、図
５の手順により処理される距離画像データの加工例を模
式的に示す図である。

【００４０】図５において、先ずステップＳ５１で、図
３のフローチャートにつき前述した手順により作成され
た面種クラス画像（図６のａ）を入力し、ステップＳ５
２では、この面種クラス画像から、ある１つの面種クラ
スを表わす画像（図６のｂ）を順次取り出す。図６のｂ
は例として面種クラスが５である箇所だけを取り出した
画像である。

【００４１】ステップＳ５３では、同じ連結成分に属す
るすべての画素に同じラベル（番号）を割り当て、異な
った連結成分には異なったラベルを割り当てたラベル画
像（図６のｃ）を生成する。

【００４２】ステップＳ５４では、ステップＳ５３でつ
けられたラベル（領域番号）ごとに、面種クラスに応じ
た多角形パッチモデルが生成される。すなわち、面種ク
ラスがｎの領域は、面種クラスがｎに分類された面の各
領域の多角形パッチ作成の手順を実行する。この手順は
後で詳しく説明する。

【００４３】ステップＳ５５では、次の面種クラス番号
がまだ処理をしていないクラスであればステップＳ５２
から繰り返し、８番目のクラス番号が終了したら終了す
る。こうして、ステップＳ５２〜５４を、抽出された全
ての面クラスに対して行なう。

【００４４】次に、図４に示す面種クラスにおいて、ク
ラスが５に分類された面の各領域の多角形パッチ作成の
手順を図７のフローチャートに従って説明する。

【００４５】ステップＳ７１では、ステップＳ５３で、
面クラスが５に分類された面を表わす画像を領域ラベリ
ングした結果を入力する。

【００４６】ステップＳ７２では、ステップＳ５３でラ
ベリングされた、面クラスが５に分類された面の全ての
領域の輪郭線を抽出する（図６のｄ）。

【００４７】図６のｄに示す様に、この輪郭線にはステ
ップＳ５３でつけられた番号と等しい番号がついてい
る。

【００４８】ついでステップＳ７３では、番号順にこの
輪郭線を取り出し、それぞれに対して以下の処理を行な
う。

【００４９】ステップＳ７４では、予め定められたある
開始点から出発してこの輪郭線をたどり、輪郭線上の予
め定められたある画素数ごとに、順次その点に番号を付
け、その点の画像上の座標を読みとる。この点を頂点と
呼び、番号を頂点番号と呼ぶことにする。

【００５０】ステップＳ７５では、ステップＳ７４で読
みとられた画像上の座標にあたる３次元空間中の座標
を、元の距離画像から読み取り、面種番号、領域番号
（輪郭線番号と等しい）、頂点番号と共に、図８に示す
多角形パッチデータテーブルに頂点情報として書き込
む。さらに、たどった頂点番号を順に位相情報として多
角形パッチデータテーブルに書き込む。

【００５１】ステップＳ７６では、次の輪郭線番号がま
だ処理をしていない番号であればステップＳ７３から繰
り返し、全ての輪郭線番号が終了したら処理を終了す
る。

【００５２】こうして、ステップＳ７３〜７５を、ステ
ップＳ７２で抽出された全ての輪郭線に対して行なう。

【００５３】最終的に、図８に例として示す多角形パッ
チデータテーブルが作成される。

【００５４】図４の面種クラスが５以外（１または２ま
たは３または４または６または７または８）に分類され
た面の各領域も同様に多角形パッチが作成される。

【００５５】多角形パッチモデルを作成する説明図を図
９に示す。

【００５６】取り出された領域内のある１点を、走査線
の方向（図９のｘ軸方向）のｘの小さい値から順に、走
査線に垂直な方向（図９のｙ軸方向）のｙの小さい値か
ら取り出し、以下の処理を行なう。

【００５７】ここで、第ｎ走査線におけるｘ方向ｐ番目
の値を取り出し、稜線・位相情報を作成するフローチャ
ートを図１０、疑似コーディングを図２３に示す。図１
０及び図２３で、変数ｘは面クラスに応じてあらかじめ
定められた値である。

【００５８】図１０において、まず、ステップＳ１０１
で、現在の注目画素が物体上のもの背景のものかが判断
される。ここで、物体上か否かは、その画素の距離の値
によって判断する。物体上の場合は、ステップＳ１０
２、１０３に進んで、それぞれ注目画素の右隣、左隣の
画素の状態を調べ、背景であれば、ステップＳ１０４で
その注目画素を物体の輪郭として登録する。

【００５９】次に、ステップＳ１０５で、現在の注目画
素、及びｘ画素間隔で右、下、右下の４画素について、
物体なら１、背景なら０の４ビットのフラグを立てる。

【００６０】ステップＳ１０６にて、このフラグの値を
判定し、フラグの値が“１”である個数に応じて処理を
分岐する。“１”が２個以下の場合、ステップＳ１０７
に進むが、このとき物体上にある点は２点以下であり、
３角形ポリゴンが作れないので何も登録しない。“１”
が３個の場合、ステップＳ１０８で、この３個に対応す
る３点をインデックスとして登録する。また“１”が４
個の場合、ステップＳ１０９で、この４点に対応して２
個の３角形を登録させるため、注目画素とｘ画素間隔で
下及び右の３点と、注目画素からｘ画素間隔で下、右及
び右下の３点とをインデックスとして登録する。

【００６１】このような処理において、凹凸の激しい面
クラスに対してはｘの値を小さく、平坦な面クラスに対
してはｘの値を大きく定めておくことにより、複雑な形
状の部分では代表点を密に、なだらかな部分では疎に選
んだ多角形パッチモデルが作成できる。

【００６２】（実施例２）本実施例では、注目点から一
旦密に代表点を選んだ後で、注目点と選んだ点との法線
ベクトルの変化が所定の値より少ない場合、疎な間隔で
選び直すようにすることで、変化の激しい部分の代表点
の間隔は密に、なだらかな部分の代表点の間隔は疎にな
るようにしたものである。

【００６３】本実施例における３次元形状モデル作成装
置の構成も、実施例１と同じ図１で表されるが、メモリ
の内容が若干異なる。図１１に、プログラムメモリ１、
データメモリ２の構成、及び全体処理のフローチャート
を示す。同図おいて、（ａ）は、実施例２におけるプロ
グラムメモリ１の内容を示す図である。ここで、２０１
は、実施例１と同じ距離画像入力処理プログラムであ
る。１１０２は、与えられた距離画像データを空間微分
して、法線ベクトルを求める法線ベクトル演算プログラ
ムである。１１０３は、本実施例における多角形パッチ
モデル作成プログラムである。

【００６４】また、同図において、（ｂ）は本実施例に
おけるデータメモリ２の構成を表し、２１１は入力され
た距離画像、１１１２は演算された法線ベクトル、１１
１３は本実施例により作成された多角形パッチモデルで
ある。

【００６５】次に、図１１の（ｃ）に示すフローチャー
トに基づき、本実施例の全体の処理の流れを説明する。
まず、ステップＳ１１１にて、実施例１と同様に、距離
画像入力処理プログラム２０１に従って、レーザレンジ
ファインダ７による物体の測定等により、距離画像を入
力し、距離画像データ２１１としてデータメモリ２に格
納する。この入力は、実際に測定を行なって入力するも
のに限らず、例えば画像データベースに蓄積されたデー
タを入力するようなものであってもよい。

【００６６】次に、ステップＳ１１２で、法線ベクトル
演算処理プログラム１１０２に従い、入力された距離画
像データ２１１（物体の表面を構成する各点の３次元座
標データ）を処理して、物体表面を構成する各点の法線
ベクトルを演算し、法線ベクトルデータ１１１２を作成
する。この法線ベクトルを求めるには、入力された距離
画像を空間微分すればよい。この法線ベクトルの計算方
法は、例えば、前述の“微分幾何学特徴に基づく距離画
像分割のためのハイブリッド手法”等に記載されている
ので、省略する。

【００６７】そして、ステップＳ１１３で、多角形パッ
チモデル作成処理プログラム１１０３に従い、距離画像
データ２１１と法線ベクトルデータ１１１２に基づき、
表面の形状にそれぞれ最適な多角形パッチにより、多角
形パッチモデル２１３を作成する。

【００６８】次に、図１２のフローチャートを参照しな
がら、距離画像と法線ベクトルとを用いて、多角形パッ
チモデルを作成する手順を説明する。ここでは、４角形
パッチモデルとする。

【００６９】まず、ステップＳ１２１で、図１３に示す
ごとく、距離画像を順次走査して行き、物体表面にあ
り、かつパッチで覆われていない点（Ａとする）を捜
す。次にステップＳ１２２にて、見つかった点Ａを１頂
点として、図１４のように１辺の長さがｉ（作成しよう
とするモデルにおいて最も密な間隔）の正方形ＡＢＣＤ
を作成する。

【００７０】ステップＳ１２３では、選ばれた３頂点
Ｂ、Ｃ、Ｄが、いずれもまだ他のパッチで覆われていな
い点であるかを判定し、かつ点Ａの単位法線ベクトルと
点Ｂ、Ｃ、Ｄのそれぞれの単位法線ベクトルとの内積の
いずれもが、予め与えられた閾値より大きいかを判定
し、Ｂ、Ｃ、Ｄがいずれも覆われていない点であり、か
つ法線ベクトルの内積が、いずれも閾値より大きけれ
ば、ｉ＝ｉ＋１としてステップＳ１２２を繰り返す。

【００７１】一方、３頂点Ｂ、Ｃ、Ｄのいずれかが、既
に他のパッチで覆われている点であるか、あるいは点Ａ
の単位法線ベクトルと点Ｂ、Ｃ、Ｄのそれぞれの単位法
線ベクトルとの内積のいずれかが、予め与えられた閾値
よりも小さい場合には、ステップＳ１２４で、この４角
形の頂点を確定し、確定された４頂点Ａ、Ｂ、Ｃ、Ｄの
３次元座標値を距離画像から読み取り、また法線ベクト
ルの向きを法線ベクトル画像から読み取り、４角形パッ
チデータとして登録する。

【００７２】続いてステップＳ１２５で、距離画像の全
画面の走査が終了したかを調べ、未走査部分があれば、
ステップＳ１２１に戻って繰り返す。一方、全画面の走
査が終了したならば、ステップＳ１２６に進み、図１５
のＥのように、登録された４角形パッチデータの中か
ら、４角形を構成するいずれかの頂点が他の４角形の辺
ＦＧ上にある点を見つける。そして、ステップＳ１２７
で、見つかった頂点Ｅの３次元座標値を、直線ＦＧの方
程式から計算し、この値を点Ｅの座標値として、４角形
パッチデータを修正する。このＥのような点のすべてに
ついて、３次元座標値の修正を終えれば、このパッチモ
デル作成処理を終了する。

【００７３】この手順により作成される４角形パッチデ
ータの一部の例を図１６に示す。

【００７４】以上説明したように、本実施例によれば、
注目点から一旦密に代表点を選んだ後で、注目点と選ん
だ点との法線ベクトルの変化が所定の値より少ない場
合、疎な間隔で選び直すようにしたので、変化の激しい
部分の代表点の間隔は密に、なだらかな部分の代表点の
間隔は疎になるようにした多角形パッチモデルが作成で
きるようになり、物体の形状を、少ないデータ量で高精
度に表せるようになった。また、データ点間の接続関係
を、形状モデル中に記述することにより、後で不要なデ
ータ点を除去したり、追加したりすることができる。

【００７５】（実施例３）本実施例では、距離画像デー
タより幾何データを生成し、この幾何データに対する変
形動作を指示することで、簡単な操作によりアニメーシ
ョン表示を実現する。

【００７６】本実施例におけるアニメーション作成装置
の構成も、実施例１と同じ図１で表されるが、メモリの
内容が異なる。図１７に、プログラムメモリ１、データ
メモリ２の構成、及び全体処理のフローチャートを示
す。

【００７７】同図において、（ａ）は、実施例２におけ
るプログラムメモリ１の内容を示す図である。ここで、
２０１は、実施例１と同じ距離画像入力処理プログラム
である。１７０２は、入力された距離画像に対して、各
種３Ｄ幾何データを生成する３次元形状モデル構築プロ
グラムである。

【００７８】１７０３は得られた３Ｄ幾何形状に対し
て、各種変形アニメーションを実行するためのパラメー
タを指定／格納する変形データ作成プログラムである。

【００７９】１７０４は、得られた３次元形状モデルと
アニメーションパラメータとに従い、ライティング、シ
ェーディング等を物体の変形動作に応じて施し、変形ア
ニメーションを行う変形アニメーション表示プログラム
である。

【００８０】データメモリ２において、２１１は、距離
計測センサや距離画像DBより入力される距離画像データ
である。１７１２は、本発明の処理により３Ｄ幾何デー
タとして構築される形状モデルである。１７１３は、ユ
ーザによってアニメーション用に指定される、物体の変
形パラメータである。

【００８１】次に、本実施例の処理の概略を、図１８の
フローチャートを参照しながら説明する。

【００８２】先ず、ステップＳ１８１において、実施例
１、２と同様に距離画像をレーザレンジファインダまた
は画像データベースより入力する。ただし、距離画像を
計測するには、平行射影系の他に、中心投影や円筒投影
型があるので、このステップで、１つの投影系（平行投
影系）の座標空間に変換し、以後の処理を統一化する。
また、距離がある一定以上の点は、拝啓と見なすために
無限大とし、物体部分と見なさないようにする。

【００８３】ステップＳ１８２において、３次元形状モ
デルを作成する。形状モデルとしては、前述したよう
に、メッシュ、ポリゴン、自由曲面などがあるが、殿形
状とするかは、実物体の特性に応じて選択することが望
ましい。即ち、平面の広い人工物体に対しては、ポリゴ
ンモデルがよく、顔の画像のようになだらかな面には、
メッシュや自由曲面が適している。

【００８４】ステップＳ１８３にて、得られた幾何形状
に対して、光源情報（色、光源の種類、減衰率）、物体
の属性（物体の色、各種反射係数、法線）を与えてや
り、フォンやグローシェーディングにより、３次元物体
を２次元平面に投影し、レンダリングする。

【００８５】ここで得られた画像は、あくまでも一方向
から見た画像でしかないので、ステップＳ１８４で、ア
ニメーション動作のための変形モードを選択する。更
に、ステップＳ１８５で、この変形のためのパラメータ
を指定する。ステップＳ１８６では、全ての指定が終了
した場合には、ステップＳ１８７に進むが、ここで、複
数の変形モードを併用する場合は、ステップＳ１８４に
戻る。

【００８６】ステップＳ１８７では、変形における補間
数を設定する。この処理は後述する。そして、ステップ
Ｓ１８８にて、アニメーションを作成し、表示する。

【００８７】本実施例では、変形のモードとして、Tape
ring（先細り）, Twisting（ねじり） , Bending（曲
げ）の３つを具えている。以下に、それぞれについて説
明する。 (1)Tapering ｚ軸方向に物体のｘ，ｙスケールを変化させる関数の例
を示すが、他の軸（ｘ軸，ｙ軸）に関しても同様Taperi
ngを実現できる。

【００８８】X = r*x Y = r*y Z = z で表現され、スケールファクタｒ＝ｆ（ｚ）である。

【００８９】ここで、関数ｆ（ｚ）の変更によって、物
体の変形がシミュレーションできる。また、法線ベクト
ルが、３次元物体をレンダリング（シェーディング）す
る際の陰影付けを計算するために必須の情報となる。変
形操作によって、法線方向も変化する。変形後の法線ベ
クトルＮ_t は以下のようになる。

【００９０】

【外１】

【００９１】(2)Twisting ここでは、ｚ軸方向において、ｘ，ｙ平面で輪郭を角度
θ（ラジアン）だけ回転する例を示すが、他の軸（ｘ
軸，ｙ軸）に関しても同様Twistingを実現できる。

【００９２】X = x*cosθ - y*sinθ Y = x*sinθ + y*cosθ Z = z 回転角度θ＝ｆ（ｚ）である。ここで関数ｆ（ｚ）の変
更によって、物体の変形がシミュレーションできる。同
様に、変形後の法線ベクトルＮ_t は以下のようになる。

【００９３】

【外２】

【００９４】(3)Bending ｙ軸に沿ったベンディング関数は、以下のように定義さ
れるが、他の軸（ｘ軸，ｚ軸）に関しても同様である。

【００９５】ここでbending の曲率は1/k であり, bend
の中心はy = y₀，bending angle は，θ = k(y' - y₀)
であり， y_min ≦y ≦y_max間で bendingを実行する。こ
こで、

【００９６】

【外３】

【００９７】また、変形後の法線ベクトルＮ_t は以下の
ように表現される。

【００９８】

【外４】

【００９９】以上説明した各種変形モード(Tapering 先
細り, Twistingねじり , Bending曲げ) は、まず、ウィ
ンドウシステムにおけるパネル等により指定される。

【０１００】その後、別メニューを開くことにより、ア
ニメーションの初期パラメータ、終了パラメータ、補間
関数、毎秒毎の補間枚数がユーザによって指定される。

【０１０１】この指定例(Tapering に関して) を、図２
２を用いて説明する。Taperingのスケールファクタ "r"
の初期値(2201)、及び終了値(2202)は、図２２中に示
されるようにスライダー又は直接数値入力によって指定
する事が可能である。ここで、一方のモードから入力が
行なわれると、他方のモードの表示に正確に情報が反映
される。

【０１０２】もう一つの入力として、アニメーションを
行う際の毎秒毎の画像の生成コマ数(2203)を指定するパ
ネルであり、1-30 画像/ 秒を選択する。

【０１０３】そうすると、指定された間隔毎にＣＰＵ割
込みが発生し、アニメーションを行うべくシステム側で
画面更新を実行するのである。

【０１０４】ところで、アニメーションを作成するの
は、非常にＣＰＵに負荷のかかる処理であり、ＣＰＵの
みでレンダリングを行う場合には、上記毎秒数コマのパ
フォーマンスを発揮するのは困難な状況もあり得る。そ
の際には、各コマをoff-lineで描画し、各コマに連番を
付加しておき、アニメーションを見る際にこれらの画像
を一度にロードしておき、画像のペラペラめくりといっ
た感じでアニメーションを実現することも可能である。

【０１０５】最後に、アニメーションを実行する際の、
時間と共に変化するパラメータ "r"を決定するための補
間関数(2204)を指定する。この関数は、入力の初期値、
終了値から、時間方向でどのように変化するかを示す関
数であり、いろんな手法により、この時間変化の様子が
指定可能である。

【０１０６】最も簡単なのは、時間方向で線形にパラメ
ータ値が変化するものであるが、ユーザがそれに飽き足
らない際には、もっと複雑な変化を指定する必要があ
る。図２２では例として、Bezier曲線を利用して補間関
数を指定したものである。この様な関数はＤＴＰにおけ
る曲線生成の処理として利用出来る。一般に、p = f(t)
の形式で表現が可能なパラメータの変化関数は補間関数
として利用出来る。

【０１０７】本実施例では、変形動作としてTapering,
Twisting, Bending を用いたが、その他の変形としてx,
y,z 軸方向への拡大・縮小、各軸回りの回転、x,y,z 方
向の移動も変形動作と考えて実現する事も必要である。
これらの場合の処理は「コンピュータグラフィック
ス」、日本コンピュータ協会発行、今宮淳美訳に詳し
い。

【０１０８】本実施例により、従来デザイナーが行って
いた、形状モデリングやアニメーション動作において、
基本となる記述が半自動的に作成できるようになり、ア
ニメーションを作成する上での時間が短縮される上に、
精度が向上するという効果が得られる。

【０１０９】また、本発明は、単体の装置に限らず、本
発明の機能が実行されるのであれば、複数の装置からな
るシステムにも適用可能であり、更に、装置あるいはシ
ステムにプログラムを供給することによって処理が行わ
れるシステムであっても適用できることは言うまでもな
い。

【０１１０】

【発明の効果】以上説明した通り、本発明によれば、凹
凸が激しい形状が複雑な部分や、曲面などでは密な間隔
で代表点を選び、大きな平面などでは疎な間隔で代表点
を選んで多角形パッチの頂点とすることにより、物体の
形状を正しく表わしかつ、データ量の小さい３次元形状
モデルを作成することができる。

【０１１１】また、入力された距離画像を、入力物体の
特性に応じてメッシュ形状の幾何データやポリゴンや自
由曲面に変換した後、各種変形操作( 変形曲面スケルト
ン指定、折り曲げ、ねじれ) を選択的に施し、変形操作
を補間して、アニメーション映像を作成する。この結果
ユーザは、モデリングの詳細を知らなくともどのように
物体を変形させ、アニメートさせるかを指定すればよ
い。これにより、熟練を要さずに誰でも利用できるの
で、アニメーションを作成する上で、操作が簡単とな
り、作成に要する時間が短縮される上に、精度が向上す
るという効果が得られる。

【図面の簡単な説明】

【図１】距離画像処理装置の全体構成を示すブロック図
である。

【図２】第１の実施例のメモリ構成及び全体処理フロー
チャートを示す図である。

【図３】面種分類処理のフローチャートである。

【図４】面種クラスとそのコードを表わす表である。

【図５】多角形パッチモデル作成処理手順を示すフロー
チャートである。

【図６】距離画像データの加工例を模式的に示す図であ
る。

【図７】輪郭線抽出処理手順を示すフローチャートであ
る。

【図８】多角形パッチデータテーブルを示す図である。

【図９】各領域の多角形パッチモデルを作成する説明図
である。

【図１０】インデックス登録処理手順を示すフローチャ
ートである。

【図１１】第２の実施例のメモリ構成及び全体処理フロ
ーチャートを示す図である。

【図１２】第２の実施例の多角形パッチモデル作成手順
を示すフローチャートである。

【図１３】距離画像の走査を説明する図である。

【図１４】代表点の選び方を説明する図である。

【図１５】修正すべき辺上の点の例を説明する図であ
る。

【図１６】ポリゴンモデルのデータの例を示す図であ
る。

【図１７】第３の実施例のメモリ構成を示す図である。

【図１８】第３の実施例の全体処理フローチャートを示
す図である。

【図１９】ポリゴンモデルのデータの例を示す図であ
る。

【図２０】変形操作の例を説明する図である。

【図２１】変形結果の例を示す図である。

【図２２】変形パラメータの補間例を説明する図であ
る。

【図２３】稜線・位相情報を作成する疑似コーディング
の例を示す図である。

【符号の説明】

１ プログラムメモリ ２ データメモリ ３ ＣＰＵ ４ 表示部 ５ マウス ６ キーボード ７ レーザレンジファインダ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年３月５日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図２１

【補正方法】変更

【補正内容】

【図２１】変形結果の例を示す写真である。

フロントページの続き (72)発明者 吉崎 修 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 (72)発明者 奥富 正敏 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内

Claims (18)

【特許請求の範囲】
1. 【請求項１】 入力された距離画像より当該距離画像の
   表す物体表面を被覆する多角形群を求める距離画像処理
   方法において、 前記入力された距離画像に基いて、物体表面を構成する
   面の種類を分類する面種分類工程と、 分類された面種に応じて適切な多角形パッチを求め、前
   記物体の多角形パッチモデルを作成する多角形パッチモ
   デル作成工程とを備えたことを特徴とする距離画像処理
   方法。
2. 【請求項２】 前記分類された面種のうち、凹凸の激し
   い面種に小さい面積の多角形パッチを割り当てるように
   したことを特徴とする請求項１記載の距離画像処理方
   法。
3. 【請求項３】 前記分類された面種のうち、凹凸の少な
   い面種ほど多角形パッチを選出するための代表点の間隔
   を大きくするようにしたことを特徴とする請求項１記載
   の距離画像処理方法。
4. 【請求項４】 入力された距離画像より当該距離画像の
   表す物体表面を被覆する多角形群を求める距離画像処理
   方法において、 既に求められた多角形群に覆われていない表面上の点を
   検出する検出工程と、 前記検出工程により検出された点を１頂点とする多角形
   の他の頂点の候補を、他の表面上の点より選出する頂点
   候補選出工程と、 前記選出された各点が、既に求められた多角形群に覆わ
   れているか否かを判定する判定工程と、 前記各点のいずれの点も否と判定された場合、前記検出
   された点における法線方向と、前記選出された各点にお
   ける法線方向とを比較する比較工程とを具え、 該比較工程の各比較結果において、方向の違いがいずれ
   も所定量以下の場合、前記検出された点を１頂点とする
   多角形の他の頂点の候補として、前記選出された各点を
   覆う多角形を構成する点を、他の表面上の点より改めて
   選出することを特徴とする距離画像処理方法。
5. 【請求項５】 前記各比較結果のいずれかにおいて、方
   向の違いが所定量を越える場合、前記検出された点を１
   頂点とし、前記選出された各点を他の頂点とする多角形
   を、前記多角形群に加えることを特徴とする請求項４記
   載の距離画像処理方法。
6. 【請求項６】 前記法線方向の比較を、２つの法線方向
   の法線ベクトルの内積を所定値と比較することにより実
   行することを特徴とする請求項４または５記載の距離画
   像処理方法。
7. 【請求項７】 入力された距離画像より当該距離画像よ
   り３次元形状モデルを作成するモデル作成工程と、 該モデル作成工程で得られた３次元形状モデルを変形す
   るための、変形動作のタイプ及びパラメータを指示する
   変形指示工程と、 該変形指示工程の指示に基づき、前記３次元形状モデル
   を順次変形させた画像を生成する画像生成工程とを具え
   た事を特徴とする距離画像処理方法。
8. 【請求項８】 前記３次元形状モデルとしてポリゴンモ
   デルを用いる事を特徴とする請求項７記載の距離画像処
   理方法。
9. 【請求項９】 前記変形動作のタイプは、先細り、ねじ
   り、曲げを含むことを特徴とする請求項７記載の距離画
   像処理方法。
10. 【請求項１０】 距離画像を入力する入力手段と、入力
    された距離画像より当該距離画像の表す物体表面を被覆
    する多角形群を求める距離画像処理装置において、 該入力手段より入力された距離画像に基いて、当該距離
    画像の表す物体表面を構成する面の種類を分類する面種
    分類手段と、 分類された面種に応じて適切な多角形パッチを求め、前
    記物体表面を記述する多角形パッチモデルを作成する多
    角形パッチモデル作成手段とを備えたことを特徴とする
    距離画像処理装置。
11. 【請求項１１】 前記多角形パッチモデル作成手段は、
    前記面種分類手段によって分類された面種のうち、凹凸
    の激しい面種に小さい面積の多角形パッチを割り当てる
    ようにしたことを特徴とする請求項１記載の距離画像処
    理装置。
12. 【請求項１２】 前記多角形パッチモデル作成手段は、
    前記面種分類手段によって分類された面種のうち、凹凸
    の少ない面種ほど多角形パッチを選出するための代表点
    の間隔を大きくするようにしたことを特徴とする請求項
    １記載の距離画像処理装置。
13. 【請求項１３】 入力された距離画像より当該距離画像
    の表す物体表面を被覆する多角形群を求める距離画像処
    理装置において、 既に求められた多角形群に覆われていない表面上の点を
    検出する検出手段と、 前記検出手段により検出された点を１頂点とする多角形
    の他の頂点の候補を、他の表面上の点より選出する頂点
    候補選出手段と、 前記選出された各点が、既に求められた多角形群に覆わ
    れているか否かを判定する判定手段と、 前記各点のいずれの点も否と判定された場合、前記検出
    された点における法線方向と、前記選出された各点にお
    ける法線方向とを比較する比較手段とを具え、 該比較手段の各比較結果において、方向の違いがいずれ
    も所定量以下の場合、前記検出された点を１頂点とする
    多角形の他の頂点の候補として、前記選出された各点を
    覆う多角形を構成する点を、他の表面上の点より改めて
    選出するように前記選出手段を制御する制御手段とを有
    することを特徴とする距離画像処理装置。
14. 【請求項１４】 前記各比較結果のいずれかにおいて、
    方向の違いが所定量を越える場合、前記検出された点を
    １頂点とし、前記選出された各点を他の頂点とする多角
    形を、前記多角形群に追加登録する登録手段を具えるこ
    とを特徴とする請求項１３記載の距離画像処理装置。
15. 【請求項１５】 前記比較手段は、法線方向の比較を、
    ２つの法線方向の法線ベクトルの内積を所定値と比較す
    ることにより実行することを特徴とする請求項１３また
    は１４記載の距離画像処理装置。
16. 【請求項１６】 入力された距離画像より当該距離画像
    より３次元形状モデルを作成するモデル作成手段と、 該モデル作成手段で得られた３次元形状モデルを変形す
    るための、変形動作のタイプ及びパラメータを指示する
    変形指示手段と、 該変形指示手段の指示に基づき、前記３次元形状モデル
    を順次変形させた画像を生成する画像生成手段とを具え
    た事を特徴とする距離画像処理装置。
17. 【請求項１７】 前記３次元形状モデルとしてポリゴン
    モデルを用いる事を特徴とする請求項１６記載の距離画
    像処理装置。
18. 【請求項１８】 前記変形動作のタイプは、先細り、ね
    じり、曲げを含むことを特徴とする請求項１６記載の距
    離画像処理装置。