JPH06282614A - 物体形状表示装置 - Google Patents

Abstract

(57)【要約】 【目的】 様々な複雑な形状を有する物体について、柔
軟にかつ自動的に物体形状データを作成し表示すること
ができる物体形状表示装置を提供する。 【構成】 画像情報入力部１から入力した画像情報か
ら、特徴情報抽出部２により物体の形状の特徴を表わす
特徴情報を抽出する。形状情報作成部３は、抽出した特
徴情報に基づき物体の形状情報を作成する。合成画像情
報作成部４は、画像入力部１から入力した画像情報と形
状情報作成部３により作成された物体の形状情報を合成
し、表示部５が合成した画像情報に対応した画像を表示
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体形状表示装置に関
し、特に、画像通信分野や医療分野等において、二次元
または三次元の別体の形状を自動的に変形あるいは生成
するコンピュータグラフィックス（ＣＧ）として表示す
る物体形状表示装置に関するものである。

【０００２】

【従来の技術】以下、従来の物体形状表示装置による物
体形状データの作成方法について説明する。図９の
（ａ）〜（ｄ）は、従来の物体形状表示装置による物体
形状データの作成方法を説明する図である。

【０００３】図９の（ａ）は物体の輪郭を複数の点列で
連結した物体形状データの作成方法を示す図である。こ
の方法は、ある方向にこれらの点列を線形に補間するこ
とにより、凹凸の異なる様々な物体形状を表示すること
ができる。この場合、点列間を結ぶ距離を１つのパラメ
ータとして操作することにより様々な変形状態を表わす
ことができる。しかしながら、この手法は、輪郭形状だ
けを変化させるために用いられるもので、その応用範囲
は限定されたものとなっていた。

【０００４】次に、形状の輪郭線に加えて、面内部の変
形を行なう場合の物体形状データの作成方法を図９の
（ｂ）に示す。まず、点列で構成された規準となる四角
形の輪郭線がある。この場合、面内部の変形を行なうた
めには、面の内部に変形のために必要な制御点（図中に
示す△）を増やす必要がある。この制御点を操作するこ
とにより、面の内部の変形が可能となる。この方法の利
点としては、等間隔に制御点を配置することができるの
で、準非線形な補間を実現することができる。しかしな
がら、局所的に形状が変化する場合は、多くの制御点を
配置する必要があり、多大な労力が必要となる。

【０００５】次に、より滑らかな表面形状を有する物体
の表示のために使用されるメタボールと呼ばれる方法に
ついて図９の（ｃ）に示す。この方法は、複数の変形が
可能な球を融合していくことにより、所望な物体形状を
作成し表示することが可能である。この方法も図９の
（ｂ）に示す方法と同様に、局所的な変形、特に、鋭い
輪郭の変化の表現や、物体に穴を開けたりすることは、
容易ではなく、種々の問題が残っている。上記の方法
は、点列の間に変形を行なうとき、必要な規則の記述が
ないため、別の方法と組合わせないと変形の自由度が狭
まってしまうという問題があった。

【０００６】次に、特定のモデルを用いた物体形状デー
タの作成方法について、図９の（ｄ）に示す。たとえ
ば、人間の顔の標準モデルを予め設計しておき、実際に
撮影した人間の顔の実画像をこの標準モデルと重ね合わ
せる方法がある。この場合、たとえば、実画像の人の目
とメッシュで表わされた標準モデルの目といった特徴量
ごとに、高度の認識過程を経て実現することができる。
しかしながら、多くの場合、標準モデルと実画像との間
には、幾何学的な位置が大きく、標準モデルと実画像と
の重ね合わせの処理時間が増大するという問題点があっ
た。また、面内部の点列については、モデルの点列間に
規則がないため、局所的な変形については、手作業によ
る調整に依存しなければならなかった。

【０００７】

【発明が解決しようとする課題】上記の従来の物体形状
データの作成方法では、比較的単純なモデルについて移
動生成を行なうためのアルゴリズムは用いられていた
が、局所的な変形および鋭い輪郭の変化を必要とする複
雑なモデルの作成を行なおうとすると、モデル作成の操
作性が悪く、また、多大な処理時間を必要とし、効率が
悪いという問題点があった。

【０００８】本発明は上記課題を解決するため、種々の
複雑な形状を有するモデルについて、柔軟にかつ自動的
に物体形状データを作成し表示することができる物体形
状表示装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明による物体形状表
示装置は、画像情報を入力する画像情報入力手段と、画
像情報入力手段により入力された画像情報が表わす画像
に含まれる所定の物体の形状の特徴を表わす特徴情報を
抽出する特徴情報抽出手段と、特徴情報抽出手段により
抽出された特徴情報に基づき物体の形状情報を作成する
形状情報作成手段と、画像情報入力手段により入力され
た画像情報と、形状情報作成手段により作成された形状
情報とを合成した合成画像情報を作成する合成画像情報
作成手段と、合成画像情報作成手段により作成された合
成画像情報を表示する表示手段とを含む。

【００１０】

【作用】本発明による物体形状表示装置においては、画
像情報から抽出した特徴情報に基づき物体の形状情報を
作成し、元の画像情報と合成しているので、標準となる
モデルを使用せず、任意の形状を有する物体形状に対応
した合成画像情報を作成し表示することができる。

【００１１】

【実施例】以下、本発明による一実施例の物体形状表示
装置について図面を参照しながら説明する。図１は本発
明の一実施例の物体形状表示装置の構成を示すブロック
図である。

【００１２】図１において、物体形状表示装置は、画像
情報入力部１、特徴情報抽出部２、形状情報作成部３、
合成画像情報作成部４、表示部５、変形状態入力部６を
含む。画像入力部１には表示すべき物体の形状をカメラ
等で撮影し、撮影した画像を電気的な信号に変換した画
像情報が入力される。画像入力部１から入力された画像
情報は、特徴情報抽出部２へ出力され、所定の画像処理
技法により画像情報に含まれる物体の形状から物体の形
状の特徴情報が抽出される。特徴情報としては、たとえ
ば、物体の輪郭上に複数の点を設定し、これらの点を物
体の形状の特徴点として用いることができる。また、特
徴情報を抽出する手段としては、マウス等を用いたシス
テムにより、入力された画像情報を表示部５で表示し、
特徴となる輪郭上の点をインターアクティブな操作過程
により抽出しても同様に抽出することができる。特徴情
報抽出部２により抽出された輪郭上の特徴点のデータは
形状情報作成部３へ出力され、形状情報作成部３は入力
された特徴点のデータを用いて、最終的な形状表現に必
要なだけ格子点等を追加し物体形状を表わすメッシュデ
ータを作成する。ここで、格子点の追加は、非線形な補
間過程により行ない、必要に応じて局所的な格子点の配
置換えを行なう。上記のようにして得られた点列が形成
する複数の小さな面をつなぎあわせることで、入力され
た画像情報に含まれる物体の形状を表現することができ
る。上記の仮定により作成されたメッシュデータは、画
像情報入力部１から出力される画像情報と合成画像情報
作成部４で合成され、所定の画像処理により両者が合成
された合成画像情報が作成される。作成された合成画像
情報は表示部５へ出力され、合成画像情報に対応した画
像が表示画面に表示される。

【００１３】また、上記過程により生成した合成画像情
報に含まれる物体の形状に局所的な変形を施す場合、変
形状態入力部６から所望の変形状態を入力することかで
きる。変形状態入力部６から入力された変形状態を示す
データは形状情報作成部３へ出力され、入力された変形
状態に対応したメッシュデータが変形情報作成部３で再
度計算される。再計算されたメッシュデータは合成画像
情報作成部４へ出力され、上記と同様に画像情報入力部
１から出力される画像データと合成され、表示部５で入
力された変形状態に対応した画像が表示される。使用者
は、表示部５の表示画面を観察しながら、所望の変形状
態になるように、上記操作を繰返し、所望の変形した物
体形状を表示部５に表示することができる。

【００１４】次に、上記のように構成された物体形状表
示装置の動作についてフローチャートを用いて説明す
る。図２は本発明による物体形状表示装置の動作を説明
するフローチャートである。

【００１５】まず、ステップＳ１において、外部で作成
された画像情報が画像情報入力部１から入力され、特徴
情報抽出部２へ出力される。

【００１６】次に、ステップＳ２において、特徴情報抽
出部２は入力した画像情報から特徴情報を抽出し、形状
情報作成部３へ出力する。

【００１７】次に、ステップＳ３において、形状情報作
成部３は入力した特徴情報を基に物体の形状を表わすメ
ッシュデータを作成する。

【００１８】次に、ステップＳ４において、形状情報作
成部３は、変形状態入力部６から変形状態を示すデータ
が入力されたか否かを確認する。入力されていれば変形
状態に対応したメッシュデータを再作成するため、ステ
ップＳ５へ移行し、入力されていなければ作成したメッ
シュデータをそのまま使用するため、ステップＳ６へ移
行する。

【００１９】次に、ステップＳ５において、形状情報作
成部３は、入力した変形状態に対応するようにメッシュ
データを再び作成する。

【００２０】次に、ステップＳ６において、合成画像情
報作成部４は、画像情報入力部１から入力された画像情
報と、ステップＳ３またはステップＳ５で作成したメッ
シュデータとを合成して合成画像情報を作成する。

【００２１】次に、ステップＳ７において、表示部５は
合成画像情報に対応した画像を表示画面に表示する。

【００２２】次に、形状情報作成部３におけるメッシュ
データの作成方法の原理について説明する。図３は、メ
ッシュデータ作成方法の原理を説明する図である。

【００２３】図３の（ａ）に示すように、所定の形状を
有する物体１０ａが物理空間の座標系に存在するものと
する。物体１０ａは２つの穴１１ａ、１１ｂを有してい
る。また、物体１０ａは二次元、三次元を問わない。

【００２４】次に、図３の（ｂ）に示すように、物体１
０ａの横に切れ目を入れて引き延ばすと、内部の輪郭が
新たに外部の輪郭とつながる物体１０ｂに変形すること
ができる。

【００２５】次に、図３の（ｃ）に示すように、物体１
０ｂをさらに引き延ばして矩形状に変形すると物体１０
ｃに示すように変形する。途中、外部の輪郭線は離散化
され、外部と内部の輪郭点は物理空間の座標系で示され
る座標値に関する値を持つ。また、元の物体の座標値に
ついてその連続性が保存されるように周期条件が与えら
れる。

【００２６】最終的に、図３の（ｄ）に示すように物理
空間の座標値を持つ物体１０ａは計算空間の座標系に表
示される物体１０ｄに変換される。

【００２７】一般に、物体の物理空間の座標値は、任意
の値で検出されるが、離散化された座標値について番号
付けをある方向に行なうと、番号を介して物体を間接的
に記述しなおすことができる。この番号のみを用いて座
標値を表現するといかなる物体の形状であっても、上記
のように矩形の直交座標系で簡素に表現できる。

【００２８】しかしながら、物体内部の点列について
は、特定の規則によって決定しなくてはならない。その
規則は、二次元または三次元のポアソン型の非線形方程
式で表わされる。この方程式の解については、上記で述
べたような物体の輪郭線に関する値が境界条件として用
いられる。元の方程式は、物理空間の座標系で記述され
るが、変数変換を施して計算空間の座標系に合うように
変換される。この場合、反復過程を経て得られる収束解
が、物体形状の表現に必要な格子点になる。作成する物
体形状について、その特徴的なメッシュ内部の変形は、
方程式に含められる制御関数の値を変えることで容易に
行なうことができる。

【００２９】以下、上記の物理空間系（ｘ₁ 、ｘ₂ 、ｘ
₃ ）から計算座標系（ξ₁ 、ξ₂ 、ξ₃ ）への変換につ
いて具体的に説明する。

【００３０】三次元制御関数Ｐ_k は以下の式で表わされ
る。

【００３１】

【数１】

【００３２】次に、Ｐ_k ＝０の場合、式（１）を変数変
換すると以下に示すようになる。

【００３３】

【数２】

【００３４】次に、差分法により、式（２）を解く。各
微分項については、直交メッシュ上で離散化近似する。
ここで、定義範囲は以下の式で示すようになる。

【００３５】

【数３】

【００３６】したがって、たとえば、一次微分項および
二次微分項は以下の式で表わされる。

【００３７】

【数４】

【００３８】また、反復計算は、加速緩和法が適用で
き、緩和定数ωは１．８付近の値を設定する。上記の方
法により収束に要する反復回数を１／１０〜１／１００
に低減することができるので、メッシュデータ作成時の
処理効率は大幅に改善される。制御関数については、Ｐ
_k （ｋ＝１、２、３）に、ｓｉｎ系、ｅｘｐ系といった
関数を与える。たとえば、

【００３９】

【数５】

【００４０】とすることで、制御の方向、形状を計算座
標系（ξ₁ 、ξ₂ 、ξ₃ ）上で離散化した値で与えるこ
とができる。

【００４１】上記変換方法により、非線形な歪みを有す
るコンピュータグラフィックの表現に必要とするような
複雑な形状を有するモデルあるいは弾性的な形状変化を
するモデルについて、標準となるモデルをもたず、任意
形状を有するモデルについてワイヤフレーム、メッシュ
を自動的に作成して、コンピュータグラフィック画像と
して表示することができる。また、局所的な変更につい
ても、パラメータの変更により容易に表現することがで
きる。

【００４２】次に、上記の変換方法による局所的な変形
について説明する。図４は、局所的なメッシュの変形を
示す図である。図４の（ａ）は２つの矢印が示すように
アトラクションライン１５への集中による変形状態を示
し、（ｂ）は４つの矢印が示すようにアトラクションポ
イント１６への集中による変形状態を示す。また、図に
おいて、実線は変形前の状態、破線は変形後の状態を示
している。物体の面内部において変形を行なう領域は線
または点により与えられる。上記に述べた方程式でいえ
ば、これは、制御関数の値を変えることに相当する。関
数値を変えることは、ちょうど、与えられる収束解に重
み付けを与えることでもある。したがって、必要なだけ
線または面を面内部に設定することにより、自由な変形
による様々な表現を外部の輪郭を与えることなく行なう
ことが可能となる。

【００４３】次に、実際に撮影した画像からメッシュデ
ータを作成する方法について人の顔を例にとって説明す
る。図５は人の顔の画像からメッシュデータを作成する
過程を示す図である。まず、図５の（ａ）に示すように
人の顔を必要なだけの特徴点で表現する。次に、図５の
（ｂ）に示すように前記の方程式の解として、人の顔の
内部にメッシュデータの生成に必要な格子点を作成す
る。ここで、局所的なメッシュの密度の変形について
は、たとえば、目のまわり付近にのみ適用する。図５の
（ｃ）、（ｄ）に２つの変形例を示す。両変形例とも、
メッシュ密度の違いを格子の総数を変えることなく表現
できるため、メッシュデータ作成時の計算の処理効率を
大幅に改善することができる。

【００４４】次に、本装置を用いて、人の顔の表情を変
形する例について説明する。図６は人の顔の表情を変形
させた顔の例を示す図である。図６の（ａ）〜（ｂ）に
示す４つの顔の目および口といった特徴的な輪郭線はほ
ぼ類似している。しかし、面の密度をわずかに変化させ
ることで、表情に対する印象は大きく変わる。このよう
な操作は、本装置により容易に実現することができる。

【００４５】次に、画像通信システムにおける本装置を
適用した場合について説明する。図７は、本装置により
表示画面の人の視線を観察者の視線と一致させる場合の
表示画面を示す図である。画像通信システムにおいて、
本装置を適用した場合、表示部５の画面には遠隔地の人
の顔が表示されている。通常、表示される人の視線と観
察者の視線を一致させることは、装置の幾何学的な配置
関係から容易に調整することはできない。まず、図７の
（ａ）に示すように、観察者の視線２１と表示画面上の
人の視線２０が一致していない場合、図７の（ｂ）に示
すように、画面の人の顔の目の付近をコンピュータグラ
フィックによる画像により置き換え、視線の位置を変え
ることにより、不自然な視線一致を避けることができ
る。このような操作は本装置による局所的な変形操作に
より容易に実現することができる。また、このとき画面
中の人の視線の移動に伴って、目の付近の皺についても
局所的なメッシュの変形により同時に実現できるので、
通常の画面をそのまま表示するよりよりリアルな画面と
して表示することが可能となる。

【００４６】次に、通信会議において本装置を適用した
場合について説明する。図８は、通信会議における人の
表情の操作について説明する図である。通信会議におい
て緊張感のある表示を提供することは現在のところ表示
装置の性能の限界等により実現が困難である。しかしな
がら、視覚的な情報が雰囲気を変える場合があるので、
視覚情報を自由に変形できれば既存のシステムの性能を
大幅に向上することができる。ここに示すような会議の
場合、人の表情の変化が会議の会話の進行を支配する。
たとえば、口調以上に微妙な表情の変化が会議の雰囲気
を決定する場合がある。本装置では以下に説明するよう
に画面中の人の表情を制御する。まず、表情の変形を行
なうための規則を予め視覚心理実験等により決定する。
次に、表情と雰囲気についてその統計的な関係を表に記
述しておく。上記規則および統計的な関係に基づき、雰
囲気について数種類のメニュー２２を画面中に表示す
る。このメニューにはたとえば、穏やかさ、叙情、静寂
等といったモードが含まれる。会議の状況に応じて、双
方で適時、メニュー２２を選択することにより、図８の
（ｂ）に示すように、その状況に則した様々な異なる表
情２３ａ，２３ｂ，２３ｃの中から所望の表情が選ば
れ、実際の人の顔を選択した表情に適合するようにコン
ピュータグラフィックの画像により置き換えることによ
り、所望の雰囲気を作り出すことが可能となる。

【００４７】

【発明の効果】本発明による物体形状表示装置において
は、画像情報から抽出した特徴情報に基づき物体の形状
情報を作成し、元の画像情報と合成して任意の形状を有
する物体形状に対応した合成画像情報を作成しているの
で、種々の様々な形状を有する物体について、柔軟にか
つ自動的に物体形状を作成することができる。

【図面の簡単な説明】

【図１】本発明の一実施例の物体形状表示装置の構成を
示すブロック図である。

【図２】本発明の一実施例の物体形状表示装置の動作を
説明するフローチャートである。

【図３】物体空間座標系から計算空間座標系への変換方
法を説明する図である。

【図４】局所的なメッシュの変形例を示す図である。

【図５】実画像からメッシュデータの作成過程を示す図
である。

【図６】局所的なメッシュの密度を変えることにより、
変化した表情を示す図である。

【図７】画像通信システムにおける視線を一致させる表
示画面を示す図である。

【図８】通信会議における表情の操作を説明する図であ
る。

【図９】従来の物体形状表示装置に用いられる物体形状
データの作成方法を説明する図である。

【符号の説明】

１ 画像情報入力部 ２ 特徴情報抽出部 ３ 形状情報作成部 ４ 合成画像情報作成部 ５ 表示部 ６ 変形状態入力部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像情報を入力する画像情報入力手段
   と、 前記画像情報入力手段により入力された画像情報が表わ
   す画像に含まれる所定の物体の形状の特徴を表わす特徴
   情報を抽出する特徴情報抽出手段と、 前記特徴情報抽出手段により抽出された特徴情報に基づ
   き前記物体の形状情報を作成する形状情報作成手段と、 前記画像情報入力手段により入力された画像情報と、前
   記形状情報作成手段により作成された形状情報とを合成
   した合成画像情報を作成する合成画像情報作成手段と、 前記合成画像情報作成手段により作成された合成画像情
   報を表示する表示手段とを含む物体形状表示装置。
2. 【請求項２】 前記形状情報作成部に、前記物体の形状
   の変化状態を入力する変化状態入力手段をさらに含む請
   求項１記載の物体形状表示装置。