JPH06259532A - ３次元画像処理装置 - Google Patents
３次元画像処理装置Info
- Publication number
- JPH06259532A JPH06259532A JP5043501A JP4350193A JPH06259532A JP H06259532 A JPH06259532 A JP H06259532A JP 5043501 A JP5043501 A JP 5043501A JP 4350193 A JP4350193 A JP 4350193A JP H06259532 A JPH06259532 A JP H06259532A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional image
- dimensional
- boundary
- shape model
- boundary line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 表面のパターン情報が機能的な意味を持つ立
体を計算機内で記述するために、変形操作にも対応可能
な形状モデルを生成する装置を提供する。 【構成】 ２次元画像記憶部１２の記憶するカラーまた
は濃淡画像から、パターン境界抽出部１３がパターンの
境界を抽出し、境界線当てはめ部１４がそのパターン境
界を、３次元画像記憶部１１の記憶する３次元画像に当
てはめる。形状モデル生成部１５は境界線当てはめ部１
４の生成する境界線付き３次元画像を用いて、３次元形
状に基づいた形状モデルを出力する。
体を計算機内で記述するために、変形操作にも対応可能
な形状モデルを生成する装置を提供する。 【構成】 ２次元画像記憶部１２の記憶するカラーまた
は濃淡画像から、パターン境界抽出部１３がパターンの
境界を抽出し、境界線当てはめ部１４がそのパターン境
界を、３次元画像記憶部１１の記憶する３次元画像に当
てはめる。形状モデル生成部１５は境界線当てはめ部１
４の生成する境界線付き３次元画像を用いて、３次元形
状に基づいた形状モデルを出力する。
Description
【０００１】
【産業上の利用分野】本発明は、３次元計測データから
なる３次元画像を、２次元画像を用いて形状モデルに変
換する３次元画像処理装置に関するものである。
なる３次元画像を、２次元画像を用いて形状モデルに変
換する３次元画像処理装置に関するものである。
【０００２】
【従来の技術】３次元計測装置によって得られた３次元
画像を、データ量の削減などを目的として形状モデルに
変換する方法がいくつか提案されている。例えば、立体
表面の向きがほぼ等しい領域を統合して一つの平面パッ
チや曲面パッチなどのパッチデータとして記述すること
により、立体表面の形状を、小さい誤差のまま少ないデ
ータ量で表現する装置がある。
画像を、データ量の削減などを目的として形状モデルに
変換する方法がいくつか提案されている。例えば、立体
表面の向きがほぼ等しい領域を統合して一つの平面パッ
チや曲面パッチなどのパッチデータとして記述すること
により、立体表面の形状を、小さい誤差のまま少ないデ
ータ量で表現する装置がある。
【０００３】
【発明が解決しようとする課題】３次元形状を用いて形
状モデルを自動生成する従来の多くの方法によれば、そ
の立体が持つパターン情報に関係なくモデリングがなさ
れる。しかし一方で、モデリングする対象の立体の中に
は、３次元形状に現れないパターン情報が、その部分の
機能的な意味を持つものがあり、その場合にパターン情
報を形状モデルに反映させたいという要求が発生する。
このような立体の形状モデルに変形操作を加えた場合、
その結果は機能的に意味を持った変形であることが望ま
しい。しかし、３次元形状のみでモデリングを行った形
状モデルでは、そのような変形を加えるのは困難であっ
た。
状モデルを自動生成する従来の多くの方法によれば、そ
の立体が持つパターン情報に関係なくモデリングがなさ
れる。しかし一方で、モデリングする対象の立体の中に
は、３次元形状に現れないパターン情報が、その部分の
機能的な意味を持つものがあり、その場合にパターン情
報を形状モデルに反映させたいという要求が発生する。
このような立体の形状モデルに変形操作を加えた場合、
その結果は機能的に意味を持った変形であることが望ま
しい。しかし、３次元形状のみでモデリングを行った形
状モデルでは、そのような変形を加えるのは困難であっ
た。
【０００４】例えば、対象を顔として説明すると、３次
元画像だけから形状モデルを生成する場合、唇や目、ま
ゆげなど、機能的に意味を持つ個々のパーツがそれぞれ
区別されずにモデリングされる場合がある。そのとき、
２次元画像で示される唇や目などの位置や形状などのパ
ターン情報が、顔の形状モデルには反映されないため、
その形状モデルに表情変化に基づく変形情報を加えると
きに「口を動かす」「まゆげを動かす」などの変形を指
定することが困難であった。
元画像だけから形状モデルを生成する場合、唇や目、ま
ゆげなど、機能的に意味を持つ個々のパーツがそれぞれ
区別されずにモデリングされる場合がある。そのとき、
２次元画像で示される唇や目などの位置や形状などのパ
ターン情報が、顔の形状モデルには反映されないため、
その形状モデルに表情変化に基づく変形情報を加えると
きに「口を動かす」「まゆげを動かす」などの変形を指
定することが困難であった。
【０００５】本発明の目的は、表面のパターン情報が機
能的な意味を持つ立体を計算機内で記述するために、変
形操作にも対応可能な形状モデルを生成する装置を提供
することにある。
能的な意味を持つ立体を計算機内で記述するために、変
形操作にも対応可能な形状モデルを生成する装置を提供
することにある。
【０００６】
【課題を解決するための手段】この目的を達成するため
本発明は、２次元画像をパターン情報を用いて領域分割
し、境界線を抽出するパターン境界抽出部と、境界線を
３次元画像の対応する位置に当てはめる境界線当てはめ
部と、３次元画像に当てはめられた境界線と立体の３次
元画像とから立体の形状モデルを出力する形状モデル生
成部とを有することを特徴とする。
本発明は、２次元画像をパターン情報を用いて領域分割
し、境界線を抽出するパターン境界抽出部と、境界線を
３次元画像の対応する位置に当てはめる境界線当てはめ
部と、３次元画像に当てはめられた境界線と立体の３次
元画像とから立体の形状モデルを出力する形状モデル生
成部とを有することを特徴とする。
【０００７】
【作用】以上のような構成により、立体の３次元画像
と、２次元画像のパターン情報とを用いて立体形状モデ
ルを生成することによって、パターン情報を反映した立
体形状モデルを生成する。
と、２次元画像のパターン情報とを用いて立体形状モデ
ルを生成することによって、パターン情報を反映した立
体形状モデルを生成する。
【０００８】
【実施例】以下、本発明の実施例について詳細に述べ
る。
る。
【０００９】図１は本発明の概略ブロック図である。図
１を参照しながら、本発明の実施例について説明する。
３次元画像記憶部１１は、３次元計測装置によって計測
された立体表面の３次元座標値を記憶する。２次元画像
記憶部１２は、濃淡画像などの２次元画像を記憶する。
濃淡画像はディジタル画像であり、各ピクセルに、対応
する点の濃淡値が記憶されている。３次元画像記憶部１
１に記憶されている３次元画像も、記憶形態は前記２次
元画像などと同様で、各ピクセルに対応する点の３次元
座標値（ｘ，ｙ，ｚ）が記憶されている。２次元画像記
憶部１２が記憶する２次元画像の各ピクセルに対し、対
応するピクセルが３次元画像記憶部１１の記憶する３次
元画像上に存在することが必要である。このような前提
は、「三次元画像計測」（井口征士、佐藤宏介共著、昭
晃堂、１９９０）７９ページで述べられている３次元計
測手法などを用いることによって満たすことが出来る。
１を参照しながら、本発明の実施例について説明する。
３次元画像記憶部１１は、３次元計測装置によって計測
された立体表面の３次元座標値を記憶する。２次元画像
記憶部１２は、濃淡画像などの２次元画像を記憶する。
濃淡画像はディジタル画像であり、各ピクセルに、対応
する点の濃淡値が記憶されている。３次元画像記憶部１
１に記憶されている３次元画像も、記憶形態は前記２次
元画像などと同様で、各ピクセルに対応する点の３次元
座標値（ｘ，ｙ，ｚ）が記憶されている。２次元画像記
憶部１２が記憶する２次元画像の各ピクセルに対し、対
応するピクセルが３次元画像記憶部１１の記憶する３次
元画像上に存在することが必要である。このような前提
は、「三次元画像計測」（井口征士、佐藤宏介共著、昭
晃堂、１９９０）７９ページで述べられている３次元計
測手法などを用いることによって満たすことが出来る。
【００１０】パターン境界抽出部１３は、２次元画像記
憶部１２で記憶している２次元画像から、パターンの境
界を抽出する。例として、濃淡値のエッジを抽出し、エ
ッジで囲まれる領域を一領域とする方法などがあげられ
る。
憶部１２で記憶している２次元画像から、パターンの境
界を抽出する。例として、濃淡値のエッジを抽出し、エ
ッジで囲まれる領域を一領域とする方法などがあげられ
る。
【００１１】図２はパターン境界抽出部１３の行う処理
を説明する図である。対象立体として顔を考えると、パ
ターン境界抽出部１３は、２次元画像記憶部１２で記憶
している顔の２次元画像２５から唇２１やまゆげ２２な
どの領域を切りだし、それぞれの領域の境界線２３、２
４を抽出し、境界線画像２６を生成する。
を説明する図である。対象立体として顔を考えると、パ
ターン境界抽出部１３は、２次元画像記憶部１２で記憶
している顔の２次元画像２５から唇２１やまゆげ２２な
どの領域を切りだし、それぞれの領域の境界線２３、２
４を抽出し、境界線画像２６を生成する。
【００１２】境界線当てはめ部１４は、パターン境界抽
出部１３で抽出した境界線を、３次元画像記憶部１１が
記憶する３次元画像上の対応点に当てはめる。
出部１３で抽出した境界線を、３次元画像記憶部１１が
記憶する３次元画像上の対応点に当てはめる。
【００１３】図３は境界線当てはめ部１４の行う処理を
説明する図である。境界線当てはめ部１４は、パターン
境界抽出部１３の抽出した境界線２３、２４などを３次
元画像記憶部１１の記憶する３次元画像３１に当ては
め、境界線付き３次元画像３２を得る。
説明する図である。境界線当てはめ部１４は、パターン
境界抽出部１３の抽出した境界線２３、２４などを３次
元画像記憶部１１の記憶する３次元画像３１に当ては
め、境界線付き３次元画像３２を得る。
【００１４】形状モデル生成部１５は、境界線当てはめ
部１４によって得られた境界線付き３次元画像をもと
に、形状モデルを生成する。
部１４によって得られた境界線付き３次元画像をもと
に、形状モデルを生成する。
【００１５】図４は形状モデル生成部１５の行う処理を
説明する図である。境界線当てはめ部１４で得られた境
界線３次元画像３２のうち、特に唇の部分４１を取り出
して考えると、境界線当てはめ部１４で得られた境界線
４２だけでは、その形状を十分表現できないので、形状
モデル生成部１５は、さらに３次元画像を用いて、形状
を小さい誤差で表現できるように新たな分割線４３を生
成する。このようにして全ての領域について、３次元形
状に基づく分割を行い、形状モデル４４を出力する。図
４では頭部のみをモデリングした図を示した。
説明する図である。境界線当てはめ部１４で得られた境
界線３次元画像３２のうち、特に唇の部分４１を取り出
して考えると、境界線当てはめ部１４で得られた境界線
４２だけでは、その形状を十分表現できないので、形状
モデル生成部１５は、さらに３次元画像を用いて、形状
を小さい誤差で表現できるように新たな分割線４３を生
成する。このようにして全ての領域について、３次元形
状に基づく分割を行い、形状モデル４４を出力する。図
４では頭部のみをモデリングした図を示した。
【００１６】なお、以上の説明では２次元画像記憶部１
２が濃淡画像を記憶している場合について説明したが、
濃淡画像の代わりにカラー画像を記憶している場合にも
同様の効果が得られる。この場合、２次元画像記憶部１
２に、カラー画像と同時に、カラー画像を輝度値に変換
した濃淡画像も記憶しておけば、濃淡画像と同様の処理
を行うことが可能である。また、濃淡情報の代わりに色
情報を用いることもできる。このとき、パターン境界抽
出部１３は、例えば色値の近い点を１領域として統合し
ていくことによって２次元画像を領域分割し、その境界
を得るなどの方法によってパターン境界を抽出する。こ
れにより、色は異なるが同一の輝度を持つパターンどう
しであっても領域分割することができるので、立体表面
のパターン情報がより忠実に形状モデルに反映される。
２が濃淡画像を記憶している場合について説明したが、
濃淡画像の代わりにカラー画像を記憶している場合にも
同様の効果が得られる。この場合、２次元画像記憶部１
２に、カラー画像と同時に、カラー画像を輝度値に変換
した濃淡画像も記憶しておけば、濃淡画像と同様の処理
を行うことが可能である。また、濃淡情報の代わりに色
情報を用いることもできる。このとき、パターン境界抽
出部１３は、例えば色値の近い点を１領域として統合し
ていくことによって２次元画像を領域分割し、その境界
を得るなどの方法によってパターン境界を抽出する。こ
れにより、色は異なるが同一の輝度を持つパターンどう
しであっても領域分割することができるので、立体表面
のパターン情報がより忠実に形状モデルに反映される。
【００１７】図５は極座標系を説明するための図であ
る。図４及び図５を参照しながら、形状モデル生成部が
３次元画像の境界線で囲まれる部分の法線分布を利用し
て立体の形状モデルを出力することについて説明する。
境界線当てはめ部１４によって得られた顔の境界線つき
３次元画像３２のうち、例えば、唇の領域４２の内部を
形状モデル生成部１５にてモデリングすることを考え
る。まず、その領域内の法線を計算し、その向きの分布
を得る。図５において、法線ベクトル５１の向きは、極
座標系におけるθとφ、すなわち、ｘｙｚ座標系におけ
る、ｘｙ平面に投影したときのｘ軸との角度θと、ｚ軸
との角度φなどを用いて表す。そして、分布を適当な比
率で等分するような角度境界値を決めて、分割線４３を
生成する。このような分割線を全ての領域において生成
することにより、立体の形状モデル４４が生成される。
法線の向きを用いることにより、その立体の持つ３次元
形状の特徴を形状モデルに反映させることができるの
で、元の立体形状と形状モデルとの誤差をより小さくし
ながら、少ないデータ量で立体を記述することができ
る。
る。図４及び図５を参照しながら、形状モデル生成部が
３次元画像の境界線で囲まれる部分の法線分布を利用し
て立体の形状モデルを出力することについて説明する。
境界線当てはめ部１４によって得られた顔の境界線つき
３次元画像３２のうち、例えば、唇の領域４２の内部を
形状モデル生成部１５にてモデリングすることを考え
る。まず、その領域内の法線を計算し、その向きの分布
を得る。図５において、法線ベクトル５１の向きは、極
座標系におけるθとφ、すなわち、ｘｙｚ座標系におけ
る、ｘｙ平面に投影したときのｘ軸との角度θと、ｚ軸
との角度φなどを用いて表す。そして、分布を適当な比
率で等分するような角度境界値を決めて、分割線４３を
生成する。このような分割線を全ての領域において生成
することにより、立体の形状モデル４４が生成される。
法線の向きを用いることにより、その立体の持つ３次元
形状の特徴を形状モデルに反映させることができるの
で、元の立体形状と形状モデルとの誤差をより小さくし
ながら、少ないデータ量で立体を記述することができ
る。
【００１８】
【発明の効果】本発明により、表面のパターン情報が機
能的な意味を持つ立体の形状モデルを、変形操作に対応
可能なものとして生成する。
能的な意味を持つ立体の形状モデルを、変形操作に対応
可能なものとして生成する。
【図１】本発明の概略ブロック図
【図２】パターン境界抽出部の行う処理のイメージ図
【図３】境界当てはめ部の行う処理のイメージ図
【図４】形状モデル生成部の行う処理のイメージ図
【図５】極座標系を説明するための図
１１ ３次元画像記憶部 １２ ２次元画像記憶部 １３ パターン境界抽出部 １４ 境界線当てはめ部 １５ 形状モデル生成部 ２１ 画像の唇の部分 ２２ 画像のまゆげの部分 ２３ 唇の境界線 ２４ まゆげの境界線 ２５ カラー（または濃淡）画像 ２６ 境界線画像 ３１ ３次元画像 ３２ 境界線付き３次元画像 ４１ 唇の形状モデル ４２ 唇の境界線 ４３ 唇領域内部の分割線 ４４ 形状モデル ５１ 法線ベクトル
Claims (2)
- 【請求項１】画像の各ピクセルに立体表面の座標値を持
つ３次元画像を記憶する３次元画像記憶部と、前記３次
元画像との位置対応がわかっている２次元画像を記憶す
る２次元画像記憶部と、前記２次元画像記憶部が記憶す
る２次元画像をパターン情報を用いて領域分割し、境界
線を抽出するパターン境界抽出部と、前記パターン境界
抽出部で得られた境界線を前記３次元画像記憶部の記憶
する３次元画像の対応する位置に当てはめる境界線当て
はめ部と、前記境界線当てはめ部によって３次元画像に
当てはめられた境界線と立体の３次元画像とから立体の
形状モデルを出力する形状モデル生成部とを有すること
を特徴とする３次元画像処理装置。 - 【請求項２】形状モデル生成部が３次元画像の境界線で
囲まれる部分の法線分布を利用して立体の形状モデルを
出力することを特徴とする、請求項１に記載の３次元画
像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5043501A JPH06259532A (ja) | 1993-03-04 | 1993-03-04 | ３次元画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5043501A JPH06259532A (ja) | 1993-03-04 | 1993-03-04 | ３次元画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06259532A true JPH06259532A (ja) | 1994-09-16 |
Family
ID=12665473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5043501A Pending JPH06259532A (ja) | 1993-03-04 | 1993-03-04 | ３次元画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06259532A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11150741A (ja) * | 1997-11-18 | 1999-06-02 | Asahi Optical Co Ltd | ステレオ写真撮影による３次元画像表示方法および装置 |
| US7068835B1 (en) | 1997-11-28 | 2006-06-27 | Minolta Co., Ltd. | Data processing apparatus for processing a 3-dimensional data of an object and a method therefor |
| US8035640B2 (en) | 2006-03-29 | 2011-10-11 | Nec Corporation | Restoring and collating system and method for 3-dimensional face data |
-
1993
- 1993-03-04 JP JP5043501A patent/JPH06259532A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11150741A (ja) * | 1997-11-18 | 1999-06-02 | Asahi Optical Co Ltd | ステレオ写真撮影による３次元画像表示方法および装置 |
| US7068835B1 (en) | 1997-11-28 | 2006-06-27 | Minolta Co., Ltd. | Data processing apparatus for processing a 3-dimensional data of an object and a method therefor |
| US8035640B2 (en) | 2006-03-29 | 2011-10-11 | Nec Corporation | Restoring and collating system and method for 3-dimensional face data |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3639475B2 (ja) | ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体 | |
| US9036898B1 (en) | High-quality passive performance capture using anchor frames | |
| US7095879B2 (en) | System and method for face recognition using synthesized images | |
| Johnston | Lumo: Illumination for cel animation | |
| US7200281B2 (en) | System and method for image-based surface detail transfer | |
| Corrêa et al. | Texture mapping for cel animation | |
| US5995110A (en) | Method and system for the placement of texture on three-dimensional objects | |
| JP2002520749A (ja) | 完全にテクスチャリングされた３次元モデルを発生する方法及びシステム | |
| WO2021252145A1 (en) | Image augmentation for analytics | |
| JPWO2006049147A1 (ja) | 三次元形状推定システム及び画像生成システム | |
| US5767857A (en) | Method, apparatus, and software product for generating outlines for raster-based rendered images | |
| CN113628327A (zh) | 一种头部三维重建方法及设备 | |
| JP2023517121A (ja) | 画像処理及び画像合成方法、装置及びコンピュータプログラム | |
| Fua et al. | Animated heads from ordinary images: A least-squares approach | |
| US20200082609A1 (en) | Image processing method and image processing device | |
| KR20000051217A (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
| US6931145B1 (en) | Method and apparatus for measuring motion of an object surface by multi-resolution analysis using a mesh model | |
| US8009171B2 (en) | Image processing apparatus and method, and program | |
| KR100942026B1 (ko) | 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법 | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| JPH06259532A (ja) | ３次元画像処理装置 | |
| GB2342026A (en) | Graphics and image processing system | |
| JP5865092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN111582120A (zh) | 用于捕捉眼球活动特征的方法、终端设备 | |
| Mukaigawa et al. | Face synthesis with arbitrary pose and expression from several images: An integration of image-based and model-based approaches |