JPH1040421A - ３次元形状形成方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 未知の３次元モデルの２次元画像から、その
３次元形状を得ることができ、かつ、作業者の入力手間
が省ける３次元形状生成方法および装置を得る。 【解決手段】 求めるべき３次元形状の２次元の入力画
像１と、装置の内部で生成した複数の３次元モデルの画
像とを比較し、その中で類似度の高い生成画像を選択
し、この選択した生成画像の元になる内部生成３次元モ
デルを選択し出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、２次元画像から
その３次元形状を得るための３次元形状生成方法および
装置に関するものである。

【０００２】

【従来の技術】３次元ＣＡＤにおいては、計算機の内部
に３次元モデルを持ち、設計者は３次元モデルを直接操
作することにより、形状を作る。その際、設計者が計算
機に向かってキーボードやマウスで入力し、形状を作っ
ていくが、これが大変な作業である。特に、写真やカタ
ログ、あるいは手書きの絵を見ながら、３次元ＣＡＤを
使ってその形状を入力する場合の作業は、図面がなく、
したがって寸法が与えられておらず、イメージ通りの３
次元形状を入力することが難しかった。このような背景
から、２次元画像から３次元モデルを得る方法が試みら
れており、例えば次のようなものがある。

【０００３】２次元画像から３次元モデルを得る方法と
しては、例えば、電子情報通信学会論文誌Ｄ−II Ｖｏ
ｌ．Ｊ７７−Ｄ−II Ｎｏ.１ １０１〜１０７頁（１９
９４年１月）「２次元投影像からの３次元物体の位置・
姿勢推定方法」に発表されている。ここでは、事前に認
識すべき３次元モデルの形状が分かっていることが前提
であり、この３次元モデルがどのような位置で、かつ、
どのような姿勢であるかを認識するものである。この方
法では、光源と視線情報が既知であるという前提で、入
力画像（対象物体をテレビカメラで撮影した２次元投影
像）と既知の３次元モデルから生成した推定画像とを比
較し、その２つの画像の残差２乗和を評価関数として、
この評価関数が最小となるように、非線形最小２乗法を
用いて推定を行う。

【０００４】

【発明が解決しようとする課題】上記のような従来の方
法では、認識すべき３次元モデルの形状が分かっている
ことが前提で、その位置、姿勢を認識するための方法で
あり、未知の３次元モデルへの対応は困難であった。ま
た、２次元画像を見て、作業者が手入力して計算機内に
３次元モデルを形成するのは大変な作業であるなどの問
題点があった。この発明は上記のような問題を解決する
ためになされたもので、事前にはどのようなものか分か
らない３次元モデルの２次元画像から、その３次元形
状、すなわち、３次元物体の表面をなす３次元曲面を得
ることができ、かつ、作業者の入力の手間が省ける３次
元形状生成方法および装置を得ることを目的とする。

【０００５】

【課題を解決するための手段】この発明に係る３次元形
状生成方法は、複数の３次元モデルを生成してそれらの
ディジタル画像を生成し、その中から入力ディジタル画
像と類似度の高い生成ディジタル画像を選択し、この選
択した生成ディジタル画像の元になる生成３次元モデル
を選択するものである。さらに、パラメータを含む３次
元モデルのパラメータを変化させることにより、複数の
３次元モデルを生成するものである。

【０００６】また、遺伝子で表現されたパラメータを含
む３次元モデルから複数の３次元モデルを生成してその
ディジタル画像を生成し、入力ディジタル画像と類似度
の高い生成ディジタル画像の元になる生成３次元モデル
の遺伝子を操作して次世代の複数の３次元モデルを生成
し、これを繰り返して、生成ディジタル画像の中から入
力ディジタル画像と類似度の高いものを選択し、これの
元になる生成３次元モデルを選択するものである。

【０００７】また、この発明に係る３次元形状生成装置
は、ディジタル画像の入力を行う画像入力部、パラメー
タを変化させて複数の３次元モデルを生成する３次元モ
デル生成部、この生成３次元モデルのディジタル画像を
生成する画像生成部、この生成ディジタル画像を入力デ
ィジタル画像と比較して類似度を評価する画像比較部、
および、この類似度の高いディジタル画像の元になる生
成３次元モデルを選択する３次元モデル選択部を備えた
ものである。

【０００８】また、ディジタル画像の入力を行う画像入
力部、遺伝子を操作して複数の３次元モデルを生成する
３次元モデル生成部、この生成３次元モデルのディジタ
ル画像を生成する画像生成部、この生成ディジタル画像
を入力ディジタル画像と比較して類似度を評価する画像
比較部、および、この類似度の高い生成ディジタル画像
の元になる生成３次元モデルを選択する３次元モデル選
択部を備え、３次元モデル生成部は、類似度の高い生成
ディジタル画像の元になる生成３次元モデルの遺伝子を
操作して、次世代の３次元モデルを生成するようにした
ものである。

【０００９】

【発明の実施の形態】

実施の形態１．図１はこの発明の実施の形態１である３
次元形状形成装置を示すブロック図である。１は２次元
のディジタル画像データ（以下、入力ディジタル画像と
称す）であり、例えば１００×１００の画素からなって
いる。この画像の元となる３次元形状のデータを得るた
めに以下の装置が構成されている。２は入力ディジタル
画像１を入力する画像入力部、３は複数の３次元モデル
を、後述のような方法で、入力ディジタル画像１と無関
係に内部生成する３次元モデル生成部である。４は３次
元モデル生成部３で生成された３次元モデル（以下、生
成３次元モデルと称す）を元に投影変換して２次元のデ
ィジタル画像を生成する画像生成部、５は画像生成部４
で生成されたディジタル画像（以下、生成ディジタル画
像と称す）を入力ディジタル画像と比較して、その類似
度を評価する画像比較部、６は画像比較部５で評価した
類似度の高い生成ディジタル画像を選択してその生成デ
ィジタル画像の元となる生成３次元モデルを、複数の生
成３次元モデルの中から選択する３次元モデル選択部、
７は３次元モデル選択部６で選択され、出力された生成
３次元モデルである。

【００１０】図２は、図１の３次元モデル生成部３にお
いて、３次元モデルを生成する方法を示す説明図であ
り、ベジェ（Bezier）曲面を用いる場合について示す。
一般に３次のベジェパッチは１６個の制御点（それらの
座標を３次元ベクトルＣＰ００〜ＣＰ３３で表す）によ
って、次の数１で表現される。

【００１１】

【数１】

【００１２】ここでＢｋ（ｔ）はパラメータｔで表され
るベジェのブレンディング関数で、次なる多項式であ
る。 Ｂ０（ｔ）＝（１−ｔ）³ Ｂ１（ｔ）＝（１−ｔ）²ｔ Ｂ２（ｔ）＝（１−ｔ）ｔ² Ｂ３（ｔ）＝ｔ³ （ただし、０≦ｕ≦１、０≦ｖ≦１、０≦ｔ≦１） 図２（ａ）に示した制御点によって、図２（ｂ）のよう
に曲面Ｓが生成されることはよく知られている。制御点
の３次元座標ベクトルＣＰ００〜ＣＰ３３をパラメータ
として変化させることにより、種々の曲面が生成され
る。なお、ここではベジェ曲面を使用したが、Ｂ−スプ
ライン（spline）曲面など、他のモデルを用いてもよ
い。

【００１３】次に、図１に示す画像生成部４における、
フォンシェイディングモデルを用いた画像生成について
説明する。光の方向と視線の方向が決められたとき、物
体上の点Ｐの明るさＩは、 Ｉ＝Ｘａ＋Ｘｄ・ｄ＋Ｘｓ・ｓ で表される。ただし、Ｘａ、Ｘｄ、Ｘｓはそれぞれアン
ビエント、ディフューズ、スペキュラの３つの成分を表
し、ｄとｓは０から１までの値をとり、点Ｐにおけるデ
ィフューズとスペキュラ成分の割合を示す。アンビエン
トはまわりからの照り返しの成分であり、ディフューズ
は物体内に入り込んだ光が内部で反射を繰り返して散乱
光となって出てくる成分である。

【００１４】スペキュラは光が表面で反射されてくるハ
イライトと呼ばれる成分で、図３はその説明図である。
Ｎは法線方向単位ベクトル、Ｌは光源方向単位ベクト
ル、Ｅは視線方向単位ベクトルであり、Ｍは Ｍ＝（Ｌ＋Ｅ）／｜Ｌ＋Ｅ｜ で表される単位ベクトル、すなわち、ＬとＥの丁度中間
向きの単位ベクトルである。ＮとＭが一致する場合に最
も強く反射するが、実際の物体表面は多少ざらつきがあ
るので、反射の方向に広がりを持つ。ＮとＭのずれが小
さいほどスペキュラの強さは大きくなる。以上のように
フォンシェディングモデルを使い、予め設定された光源
情報から生成３次元モデル表面上の各点について明るさ
Ｉを計算することにより、２次元の画像データが生成さ
れる。

【００１５】図４は、図１に示す画像比較部５における
画像比較の一例を示す説明図であり、図４（ａ）は入力
ディジタル画像を、（ｂ）は生成ディジタル画像を示
し、それぞれの多数の丸は画素を、そしてその濃淡は明
るさを示す。比較される両画像は縦横とも画素数が同じ
で、それぞれ１００とする。２つの画像が類似している
か否かは、対応する位置にある画素の明るさを互いに比
較し、全体として類似度を評価する必要がある。類似度
の評価関数Ｖとしては、例えば数２のようにする。

【００１６】

【数２】

【００１７】すなわち、入力ディジタル画像の画素ｉ，
ｊの明るさＩａ（ｉ，ｊ）と生成ディジタル画像の画素
ｉ，ｊの明るさＩｂ（ｉ，ｊ）の差の絶対値の和を評価
関数Ｖとする。この評価関数Ｖの値が小さいほど２つの
画像間の類似度が高いと判断する。図５に画像比較部５
での評価関数Ｖの計算動作を説明するためのフローチャ
ートを示す。なお、入力ディジタル画像における明るさ
Ｉａの最大値と最小値を予め調べておき、生成ディジタ
ル画像の明るさＩｂの最大値と最小値がそれと一致する
ように生成ディジタル画像全体の明るさを設定しておく
などの調整が必要である。

【００１８】図６はこの実施の形態における全体の動作
の流れを説明するためのフローチャートである。まず、
ステップＳ１で、２次元の画像（入力ディジタル画像）
を画像入力部１へ入力する。この入力ディジタル画像の
元となる３次元形状のデータを得るために以下の動作を
行う。なお、この入力ディジタル画像は比較的単純な形
状のものが好ましく、求めるべき３次元モデルが複雑な
形状の場合は、その表面を分解して単純な形状の曲面の
集まりとし、それらの曲面各々に本発明を適用し、後か
らそれらの結果を合成するのがよい。

【００１９】ステップＳ２では段落００１０で述べたベ
ジェ曲面の制御点をパラメータとしてすべて変化させ
る。制御点はランダムに変化させてもよいし、制御点の
３次元の座標値Ｘ，Ｙ，Ｚを所定の範囲で連続的に変化
させるようにしてもよい。ステップＳ３ではステップＳ
２で変化させた制御点を使用して、段落００１１に示し
た数１により、３次元曲面（生成３次元モデル）を生成
する。ステップＳ２、Ｓ３は３次元モデル生成部３によ
り実行する。ステップＳ４では、ステップＳ３で得られ
た生成３次元モデルから、画像生成部４により段落００
１３、００１４で説明したようにして投影計算し、２次
元の画像（生成ディジタル画像）を生成する。

【００２０】ステップＳ５では、ステップＳ４で得られ
た生成ディジタル画像を、画像入力部２へ入力された入
力ディジタル画像と比較し、類似度を評価する。これは
画像比較部５により、段落００１５〜００１７で説明し
たようにして実行する。ステップＳ６では、ステップＳ
５で比較の結果、類似度の評価が所定の値より良好なと
き、その生成ディジタル画像の元になる生成３次元モデ
ルと類似度を格納しておく。ステップＳ７では、変化さ
せるべき制御点につき全て計算したかどうかを判定し、
未だ済んでいなければステップＳ２へ戻って計算を続
け、もし全て済んでおればステップＳ８へ進み、３次元
モデル選択部６により、類似度の評価の最も大きい生成
ディジタル画像の元になる３次元曲面（生成３次元モデ
ル）を選択して出力する。

【００２１】以上に述べたこの実施の形態では、制御点
を変化させて多数の３次元モデルを生成してこれらの生
成３次元モデルから、図７に例示したように、それぞれ
２次元のディジタル画像Ｆ１〜Ｆ１５を生成し、これら
を入力ディジタル画像Ｆ０と比較して、類似度の最も大
きい生成ディジタル画像Ｆ５を選択し、この生成ディジ
タル画像Ｆ５の元になる生成３次元モデルを選択する。
すなわち、与えられた入力ディジタル画像に最も近い生
成３次元モデルが選択されるので、２次元画像から３次
元モデルへの復元作業が行えることになる。これが自動
的に行われ、計算機内にその形状データが保持されてい
るので、作業者が３次元形状データを手入力する必要は
ない。

【００２２】実施の形態２．図８はこの発明の実施の形
態２の３次元形状形成装置を示すブロック図である。図
において１、２、４〜７は図１の場合と同様であるので
説明を省略する。８は複数の３次元モデルを、次に述べ
るように遺伝アルゴリズムを用いて内部生成する３次元
モデル生成部である。図９は、３次元モデル生成部で用
いるベジェ曲面のパラメータである制御点について説明
するための図であり、（ａ）に示す１６個の制御点は各
々、（ｂ）に示すようにＸ，Ｙ，Ｚの各座標値が８ビッ
トで表現され、０から２５５までの値をとる。つまり、
一つの曲面モデルは２４ビットで表現された遺伝子１６
個から形成されると換言できる。

【００２３】図１０はこの実施の形態における全体の動
作の流れを説明するためのフローチャートである。ま
ず、ステップＳ１１で、２次元の画像（入力ディジタル
画像）を画像入力部１へ入力する。ステップＳ１２で
は、ベジェ曲面の制御点である遺伝子の初期状態とし
て、１６個を１組とした複数組の遺伝子を生成する。遺
伝子はランダムに複数組生成して、各組の遺伝子をそれ
ぞれ１組の制御点とする。ステップＳ１３では、ステッ
プＳ１２で得られた制御点を用いて、それぞれ数１によ
り、３次元の曲面形状（生成３次元モデル）を生成す
る。ステップＳ１４、Ｓ１５については、図６のステッ
プＳ４、Ｓ５と同様にして行う。

【００２４】ステップＳ１６で、ステップＳ１５におけ
る類似度評価の良い生成ディジタル画像の元になる生成
３次元モデルを上位から所定数だけ選択する。ステップ
Ｓ１７では、ステップＳ１６で選択したものの中に類似
度が充分高い（評価が所定値よりも良い）ものがあるか
否か判定し、もしなければステップＳ１８へ移り、もし
あればステップＳ１９へ移って、評価の最も良い生成デ
ィジタル画像の元になる３次元曲面（生成３次元モデ
ル）を出力する。ステップＳ１８では、遺伝子操作によ
って次の世代の遺伝子を生成し、その遺伝子をステップ
Ｓ１３へ戻して曲面生成など以後の計算を繰り返す。

【００２５】ここで遺伝子操作について説明する。この
操作は交叉と突然変異である。交叉は次のように行う。
類似度の評価が良い遺伝子２つを親遺伝子として、座標
値Ｘ，Ｙ，Ｚの一部を両親間で交換したり、あるいは座
標値Ｘ，Ｙ，Ｚの一部を両親の中間値として子の遺伝子
にする。このような交叉の遺伝子操作によって、親の良
い性質を受け継いだ子が生成される。

【００２６】もう一つの操作は突然変異である。これは
遺伝子の一部に変異を与えるもので、乱数を使ったり、
ビットの一部の１と０を入れ替えるなどの操作を行う。
この突然変異は、前述の交叉によって生成される遺伝子
が似通ったものになり、進化しなくなるのを打開する効
果がある。交叉操作の間にこの突然変異を織り混ぜて、
より優良な遺伝子を探索することができる。

【００２７】図１１はこの実施の形態における動作を説
明するための図である。画像入力部へ入力された画像
（入力ディジタル画像）がＧ０であるとする。まず、初
期状態で乱数を用いて、何組かの制御点のための遺伝子
が生成される。同図Ｇ１ａ〜Ｇ１ｅがその初期の遺伝子
によって生成された曲面の画像（生成ディジタル画像）
である。これら第一世代の曲面の画像のうち、入力画像
Ｇ０に最も近い２つはＧ１ｄとＧ１ｅであり、これらは
類似度が高いと評価され、これらの元となる２つの曲面
が優良な遺伝子を持つ親として選択される。

【００２８】次に、この２つの親から交叉あるいは突然
変異の遺伝子操作を行うことにより、第２世代のいくつ
かの曲面が生成され、それらの画像がＧ２ａ〜Ｇ２ｅで
ある。これらの中で入力画像Ｇ０と類似度の高いＧ２ｃ
とＧ２ｄが選択され、これらの元となる２つの曲面が第
３世代の親となる。

【００２９】以上のような遺伝子操作を繰り返すことに
よって、次第に淘汰されていき、最終的には、与えられ
た画像に類似した画像を持つ曲面モデルを得ることがで
きる。実施の形態１では、３次元モデル生成部３でのモ
デル生成を網羅的に行ったが、この実施の形態では、３
次元モデル生成部８で遺伝アルゴリズムを用いて、生成
３次元モデルを類似度の高いものに進化させていくの
で、全く見当違いの無駄なモデルを生成することが少な
く、したがって、類似度の高い３次元モデルを能率良
く、早く求めることができる。

【００３０】

【発明の効果】この発明の３次元形状形成方法および装
置は、複数の３次元モデルを生成してそれらの画像を入
力画像と比較して、類似度の高い３次元モデルを選択す
るので、大きな入力作業の手間をかけることなく、２次
元画像から３次元モデルを得ることができる。さらに、
パラメータを変化させることにより、容易に複数の３次
元モデルを生成できる。また、遺伝アルコリズムを用い
て３次元モデルを進化させることにより、類似度の高い
３次元モデルを能率良く、早く求めることができる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１における３次元形状
形成装置を示すブロック図である。

【図２】 この発明の実施の形態１における３次元モデ
ルの生成方法を示す説明図である。

【図３】 この発明の実施の形態１における明るさのス
ペキュラ成分を示すための説明図である。

【図４】 この発明の実施の形態１における画像比較方
法を示す説明図である。

【図５】 この発明の実施の形態１における評価関数の
計算方法を示すフローチャートである。

【図６】 この発明の実施の形態１における３次元形状
形成方法を示すフローチャートである。

【図７】 この発明の実施の形態１における入力ディジ
タル画像と生成ディジタル画像を示す説明図である。

【図８】 この発明の実施の形態２における３次元形状
形成装置を示すブロック図である。

【図９】 この発明の実施の形態２における制御点につ
いて説明するための説明図である。

【図１０】 この発明の実施の形態２における３次元形
状形成方法を示すフローチャートである。

【図１１】 この発明の実施の形態２における入力ディ
ジタル画像と各世代の生成ディジタル画像を示す説明図
である。

【符号の説明】

１ 入力ディジタル画像、２ 画像入力部、３ ３次元
モデル生成部、４ 画像生成部、５ 画像比較部、６
３次元モデル選択部、７ ３次元モデル、８ ３次元モ
デル選択部。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数の３次元モデルを生成してこれらの
   生成３次元モデルのディジタル画像を生成し、これらの
   生成ディジタル画像を入力ディジタル画像と比較して類
   似度の高いものを上記生成ディジタル画像の中から選択
   し、この選択した生成ディジタル画像の元になる生成３
   次元モデルを選択することを特徴とする３次元形状形成
   方法。
2. 【請求項２】 パラメータを含む３次元モデルのパラメ
   ータを変化させることにより、複数の３次元モデルを生
   成することを特徴とする請求項１記載の３次元形状形成
   方法。
3. 【請求項３】 遺伝子で表現されたパラメータを含む３
   次元モデルから複数の３次元モデルを生成して、これら
   の生成３次元モデルのディジタル画像を生成し、これら
   の生成ディジタル画像を入力ディジタル画像と比較し
   て、類似度の高い生成ディジタル画像の元になる生成３
   次元モデルの遺伝子を操作して次世代の複数の３次元モ
   デルを生成し、これを繰り返して、生成３次元モデルの
   生成ディジタル画像の中から上記入力ディジタル画像と
   類似度の高いものを選択し、この選択した生成ディジタ
   ル画像の元になる生成３次元モデルを選択することを特
   徴とする３次元形状形成方法。
4. 【請求項４】 ディジタル画像の入力を行う画像入力
   部、パラメータを含む３次元モデルのパラメータを変化
   させて複数の３次元モデルを生成する３次元モデル生成
   部、この３次元モデル生成部で生成された３次元モデル
   のディジタル画像を生成する画像生成部、この画像生成
   部で生成されたディジタル画像を、上記画像入力部へ入
   力されたディジタル画像と比較して類似度を評価する画
   像比較部、および上記３次元モデル生成部で生成された
   ３次元モデルの中から、上記画像比較部で評価した類似
   度の高いディジタル画像の元になる３次元モデルを選択
   する３次元モデル選択部を備えたことを特徴とする３次
   元形状形成装置。
5. 【請求項５】 ディジタル画像の入力を行う画像入力
   部、遺伝子で表現されたパラメータを含む３次元モデル
   の遺伝子を操作して複数の３次元モデルを生成する３次
   元モデル生成部、この３次元モデル生成部で生成された
   ３次元モデルのディジタル画像を生成する画像生成部、
   この画像生成部で生成されたディジタル画像を、上記画
   像入力部へ入力されたディジタル画像と比較して類似度
   を評価する画像比較部、および、上記３次元モデル生成
   部で生成された３次元モデルの中から、上記画像比較部
   で評価した類似度の高いディジタル画像の元になる３次
   元モデルを選択する３次元モデル選択部を備え、上記３
   次元モデル生成部は、上記画像比較部で評価した類似度
   の高いディジタル画像の元になる３次元モデルの遺伝子
   を操作して、次世代の３次元モデルを生成するようにし
   たことを特徴とする３次元形状形成装置。