JP3639475B2 - ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を利用したリアルな３次元モデルを生成する３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来より、画像を利用したリアルな３次元モデルを生成する技術が種々提案されている。
【０００３】
例えば、参考文献１（金子正秀他，「形状変化の検出と３次元形状モデルに基づく顔動画像の符号化」，ＩＥ８７−１０１）に記載されているように、顔の画像上に、あらかじめ顔の形状に関する知験を利用して作成された３次元の概略形状モデルを投影し、３次元モデルの投影座標と顔の画像との対応から、３次元モデルに貼り付けるテクスチャを生成し、これによりテクスチャ付き３次元モデルを生成する。そして、必要に応じ加工して表情を生成し、また、入力画像に投影したときとは違う方向から投影することにより、擬似的に違う方向から見た場合の画像を生成して、表示することが行われてきた。
【０００４】
また、よりリアルな３次元モデルを生成するために、対象物体の画像上に、あらかじめ対象物体の形状に関する知験を利用して作成された３次元の概略形状モデルを投影し、この投影した３次元の概略形状モデル上の各頂点もしくは特徴点の座標を、画像上の対象物体上の各頂点もしくは特徴点に対応する点と一致するよう変形等の操作を行って微調整する、といった手法も採られていた。
【０００５】
例えば、特開平４−２８９９７６号公報には、対象となる３次元物体の２次元図形情報と、対象物体の基本形状が近似する３次元基本形状モデルとを入力として、操作者が２次元図形情報上の特徴点と３次元基本形状モデル上の制御点とを対応付けることにより、３次元基本形状モデルを変形して所望の３次元形状モデルを生成する手法が開示されている。
【０００６】
また、複雑な３次元モデルを生成するために、単純な形状の３次元モデルや、何らかの方法で作成した３次元モデルを部品として組み合わせたり、組み合わせてできた３次元モデルをまた１つの部品として扱い、さらにそれらの部品を組み合わせることで、より複雑な３次元モデルを生成するといった手法も採られていた。
【０００７】
【発明が解決しようとする課題】
一般に、画像の撮影を行う場合、「正面から」とか、「この方向から」とか指定をしても、厳密には異なる方向から撮影されてしまう場合がほとんどである。例えば、人間の顔を撮影する場合、被写体が「正面」を向いているつもりでも、実際には個人の癖などにより少し上や少し下を向いている場合が多い。従って、正面から撮影された画像をテクスチャデータとして貼ることを前提としたシステムでは、何らかの方法で被写体に対し厳密に「正面」を向かせて撮影する必要がある。しかし、これでは手軽に撮影することが不可能であるし、一般の撮影済みの顔写真を入力画像として使用することができないといった問題があった。
【０００８】
また、このような問題が解決されたとしても、概略形状モデルの輪郭と、実際の画像上の対象物体の輪郭とが厳密に一致しないことがあり、この場合には、生成された３次元モデルの輪郭付近に、背景などの色が紛れ込み、色的に不自然な３次元モデルが生成されてしまうといった問題もあった。
【０００９】
また、上記した従来技術では、異なる形状モデルを複数用意するために、用意する形状モデルの全てについて、個別にテクスチャを用意する必要があり、大変な手間がかかるといった問題もあった。
【００１０】
また、上記した２つ以上の部品を組み合わせて３次元モデルを生成する従来技術では、その組み合わせ方が問題となる。ここでいう組み合わせ方とは、具体的には位置や大きさなどをいうが、場合によっては形状そのものが問題となることもある。例えば、顔の３次元モデルと髪型の３次元モデルとを組み合わせる場合を考えると、顔が大きすぎると、髪型が顔の中に埋没してしまい不自然になる。また逆に、髪型が大きすぎると、髪が浮いてしまって不自然になる。また、顔の上側の形状と髪型の下側の形状（いわゆる境界部分）が一致していないと、髪の一部が浮いたり、埋没したりすることがあり、これも不自然になる。さらに、大きさや形状が一致していても、位置がずれると不自然になることはいうまでもない。
【００１１】
従来は、このような不自然さを無くすために、組み合わせるたびに大きさや位置、接合部付近の形状を操作者が調整することで対応していたが、この作業には多大な手間と時間がかかるといった問題があった。また、あらかじめ調整用のテーブルを用意し、組み合わせた部品によりこのテーブルを参照して調整する方法も採用されているが、テーブルの作成に手間と時間がかかるといった同様の問題があった。
【００１２】
また、よりリアルな３次元モデルを生成するためには、より多くの概略形状モデルを用意する必要があるが、用意する概略形状モデルの数が多くなると、これを選択する操作者の負担が増大するといった問題もあった。
【００１３】
さらに、顔は複雑な形状をした物体であり、リアルな顔の３次元モデルを作成することは、上記した従来技術を駆使しても大変な手間と技術とが必要であった。
【００１４】
本発明はかかる問題点を解決すべく創案されたもので、その目的は、リアルで複雑な３次元モデルを簡単な操作で生成することができる３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体を提供することにある。
【００１９】
【課題を解決するための手段】
上記課題を解決するため、本発明の３次元モデルを生成する装置では、画像を入力する入力部と、入力された画像中の任意の位置を指定することのできる位置指定部と、前記画像中の対象物体の概略形状モデルを含む各種データをあらかじめ記憶している記憶部と、これら入力部より入力された画像情報、位置指定部により指定された位置情報および記憶部に記憶されている各種データに基づいて３次元モデルを生成する３次元モデル生成部とからなり、前記３次元モデル生成部は、入力された画像中の対象物体の大きさ、位置および方向を検出する手段と、前記記憶部に記憶されている概略形状モデルを、検出した同じ大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算する第１の計算手段と、同じ概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算する第２の計算手段と、これら第１の計算手段および第２の計算手段により計算された同じ頂点の両画像上の座標の対応関係に基づいて画像の変形を行う手段と、前記概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の輪郭付近および／または輪郭の外側に相当する領域を、輪郭の内側の画素値により埋めることにより、対象物体をあらかじめ定めた規定の大きさ、位置および方向から見た場合の近似画像を生成する手段と、この近似画像を概略形状モデルに貼り付けるテクスチャマップデータとしてテクスチャ付き３次元モデルを生成する手段と、を備えていることを特徴とする。
【００２０】
また、本発明の３次元モデル生成方法は、入力部から対象物体の画像を入力するステップと、入力された画像中の対象物体の大きさ、位置および方向を検出するステップと、記憶部に記憶されている概略形状モデルを、検出した同じ大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算するステップと、同じ概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算するステップと、これらのステップにより計算された同じ頂点の両画像上の座標の対応関係に基づいて画像の変形を行うステップと、前記概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の輪郭付近および／または輪郭の外側に相当する領域を、輪郭の内側の画素値により埋めることにより、対象物体をあらかじめ定めた規定の大きさ、位置および方向から見た場合の近似画像を生成するステップと、この近似画像を概略形状モデルに貼り付けるテクスチャマップデータとしてテクスチャ付き３次元モデルを生成するステップと、を備えたことを特徴とする。
【００２１】
また、本発明の３次元モデル生成プログラムを記録した記録媒体は、入力部から対象物体の画像を入力するステップと、入力された画像中の対象物体の大きさ、位置および方向を検出するステップと、記憶部に記憶されている概略形状モデルを、検出した同じ大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算するステップと、同じ概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算するステップと、これらのステップにより計算された同じ頂点の両画像上の座標の対応関係に基づいて画像の変形を行うステップと、前記概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の輪郭付近および／または輪郭の外側に相当する領域を、輪郭の内側の画素値により埋めることにより、対象物体をあらかじめ定めた規定の大きさ、位置および方向から見た場合の近似画像を生成するステップと、この近似画像を概略形状モデルに貼り付けるテクスチャマップデータとしてテクスチャ付き３次元モデルを生成するステップと、を含むことを特徴とする。
【００２２】
このような特徴を有する本発明の装置、方法および記録媒体によれば、あらかじめ対象物体の概略形状モデルに関する知験がある場合であり、かつ輪郭付近とその他の領域において色に共通性がみられる場合においては、生成モデルの輪郭付近に当たるテクスチャデータの画素値を、概略形状モデルにおける輪郭の内側の領域の１つ、もしくは複数の画素値から決定することにより、輪郭付近においてもより自然な色をもった３次元モデルを生成することが可能となる。
【００２３】
また、本発明の３次元モデル生成装置は、上記構成の３次元モデル生成装置において、記憶部は、あらかじめテクスチャの貼り付け規則を一定に定めた複数の概略形状モデルを記憶しており、３次元モデル生成部は、あらかじめ定めたテクスチャの貼り付け規則に適合するようにテクスチャを作成し、用意された複数の概略形状モデルから１つのモデルを選択し、選択した概略形状モデルと作成されたテクスチャとを組み合わせてテクスチャ付き３次元モデルを生成することを特徴とする。
【００２４】
このような特徴を有する本発明の装置によれば、あらかじめ対象物体の概略形状モデルに関する知験がある場合において、複数の概略形状モデル間における差異が対象物体の形状のバリエーションを表すものである場合、すなわち、概略形状モデルがある程度共通である場合に、どの概略形状モデルにおいても、その特徴点の位置が、テクスチャデータ画面上における特徴点の位置に対応するようテクスチャの貼り付け規則を定めておくことにより、どの概略形状モデルにおいても同一のテクスチャ画像を使用することが可能となる。
【００２７】
また、本発明の３次元モデル生成装置は、入力画像からその画像に含まれる顔の３次元モデルを生成する装置であって、顔の画像を入力する入力部と、入力された顔の各部位を指定することのできる位置指定部と、これら入力部より入力された画像情報、位置指定部により指定された位置情報に基づいて顔の３次元モデルを生成する３次元モデル生成部とからなり、前記３次元モデル生成部は、前記位置指定部により指定された１つ以上の位置情報に基づいて顎の輪郭特徴を検出し、その検出した顎の輪郭特徴から顎の形状を判定する特徴検出・判定手段と、この判定結果に対応する構造の３次元モデルを選択して、所望の３次元モデルを生成する３次元モデルを生成する３次元モデル生成手段と、を備えたことを特徴とする。
【００２８】
また、本発明の３次元モデル生成方法は、入力部から顔の画像を入力するステップと、入力された顔の各部位を位置指定部によって指定するステップと、位置指定部により指定された１つ以上の位置情報に基づいて顎の輪郭特徴を検出し、その検出した顎の輪郭特徴から顎の形状を判定するステップと、この判定結果に対応する構造の３次元モデルを選択し、所望の３次元モデルを生成するステップと、を備えたことを特徴とする。
【００２９】
また、本発明の３次元モデル生成プログラムを記録した記録媒体は、入力部から顔の画像を入力するステップと、入力された顔の各部位を位置指定部によって指定するステップと、位置指定部により指定された１つ以上の位置情報に基づいて顎の輪郭特徴を検出し、その検出した顎の輪郭特徴から顎の形状を判定するステップと、この判定結果に対応する構造の３次元モデルを選択し、所望の３次元モデルを生成するステップと、を含むことを特徴とする。
【００３０】
このような特徴を有する本発明の装置、方法および記録媒体によれば、操作者は、最初に位置指定部により、入力画像中に含まれている人物の顔の特徴点（例えば、両目、口の中心位置など）となる位置情報を入力する。次に、入力された特徴点情報から、顔の輪郭特徴（輪郭線など）を検出する。次に、その検出結果から顎の形状（例えば、顔形状の種類として、丸型、卵型、四角型など）を判定する。ここで、形状の判定は、例えば、検出した輪郭線とあらかじめ用意した基準となる複数の顔輪郭線（基準顔輪郭）とを比較し、もっもと近似している基準顔輪郭の形状を所望の顔輪郭形状とする。
【００３１】
一方、あらかじめ基準顔輪郭に対応する顔の３次元モデルを用意しておく。なお、顔の３次元モデルは、輪郭の特徴だけを、基準顔輪郭の特徴に合わせてプロのデザイナーなどがあらかじめ作成し、記憶部に３次元モデル構造情報として記憶しておくこととする。
【００３２】
最後に、最終的に求めた基準輪郭形状に基づいて、対応する顔の３次元モデルを決定する。すなわち、所望の顔の３次元モデルは、上記の記憶部の中から決定した顔の３次元モデル構造情報を読み出して生成すればよい。
【００３３】
このように、操作者は、顔の目や口などの数点の特徴点を入力するだけで、顔の顎形状の特徴を捉えた３次元モデルを容易に生成し、利用することが可能となる。
【００３４】
なお、顔輪郭特徴から輪郭線を抽出し、形状を判定する手法としては、例えば前記の参考文献１に示されているような手法、すなわち、動的輪郭モデルを用いて実写画像中の物体の輪郭線を抽出し、基準顔輪郭の輪郭線と輪郭距離関数の特徴点とを比較することにより、顎形状を判定する手法を用いることができる。
【００３５】
また、本発明の３次元モデル生成装置は、上記構成の３次元モデル生成装置において、特徴検出・判定手段は、顔の特徴点の位置情報を前記位置指定部により指定して、画像上の顔の中心位置を確定する手段と、顔輪郭の近傍に初期輪郭の配置を行う手段と、画像上の顔の中心位置と初期輪郭とに基づいて、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間の色差を算出し、対象画素間の座標中点を座標値として、算出した色差を画素値にもつ色差マップ画像を作成する手段と、作成した色差マップ画像を利用して、初期輪郭を動的輪郭モデルに従って移動させることにより、輪郭線を抽出する手段と、抽出した輪郭線を元に距離関数を算出する手段と、算出した距離関数の特徴を、基準となる顎形状の輪郭線からあらかじめ作成しておいた距離関数と比較することにより、顎の形状を判定する手段とを含むことを特徴とする。
【００３６】
また、本発明の３次元モデル生成方法は、入力部から顔の画像を入力するステップと、入力された顔の特徴点の位置情報を位置指定部により指定して、画像上の顔の中心位置を確定するステップと、顔輪郭の近傍に初期輪郭の配置を行うステップと、画像上の顔の中心位置と初期輪郭とに基づいて、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間の色差を算出し、対象画素間の座標中点を座標値として、算出した色差を画素値にもつ色差マップ画像を作成するステップと、作成した色差マップ画像を利用して、初期輪郭を動的輪郭モデルに従って移動させることにより、輪郭線を抽出するステップと、抽出した輪郭線を元に距離関数を算出するステップと、算出した距離関数の特徴を、基準となる顎形状の輪郭線からあらかじめ作成しておいた距離関数と比較することにより、顎の形状を判定するステップと、を含むことを特徴とする。
【００３７】
また、本発明の３次元モデル生成プログラムを記録した記録媒体は、入力部から顔の画像を入力するステップと、入力された顔の特徴点の位置情報を位置指定部により指定して、画像上の顔の中心位置を確定するステップと、顔輪郭の近傍に初期輪郭の配置を行うステップと、画像上の顔の中心位置と初期輪郭とに基づいて、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間の色差を算出し、対象画素間の座標中点を座標値として、算出した色差を画素値にもつ色差マップ画像を作成するステップと、作成した色差マップ画像を利用して、初期輪郭を動的輪郭モデルに従って移動させることにより、輪郭線を抽出するステップと、抽出した輪郭線を元に距離関数を算出するステップと、算出した距離関数の特徴を、基準となる顎形状の輪郭線からあらかじめ作成しておいた距離関数と比較することにより、顎の形状を判定するステップと、この判定結果に対応する構造の３次元モデルを選択して、所望の３次元モデルを生成するステップと、を含むことを特徴とする。
また、本発明の３次元モデル生成装置は、上記構成の３次元モデル生成装置において、前記特徴検出・判定手段は、位置指定部により指定された１つ以上の位置情報に基づいて顔の各部位の特徴量を検出する特徴量検出手段をさらに含み、前記３次元モデル生成手段は、検出した顔の各部位の特徴量に基づいて、前記選択手段により選択された３次元モデルの構造を変形する手段を含むことを特徴とする。
【００３８】
このような特徴を有する本発明の装置によれば、操作者が位置指定部により指定した顔の各部位の特徴量、例えば、目や口の大きさなどの各部位の大きさや、両目の間隔や顔幅などの各部位間の距離を検出する。また、上記と同様にして、顎形状によって選択された３次元モデルを、検出された特徴量に基づき、変形させる。すなわち、顎形状によって、同じ卵型の３次元モデルが選択された場合でも、例えば、顔幅の広い人や狭い人などの個人差に応じて、個人の特徴を生かした３次元モデルを生成することが可能となる。
【００３９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。ここでは、説明を容易にするために、対象物体を顔の形状に特化して説明する。
【００４０】
図１は、本発明の３次元モデル生成装置の一実施の形態を示すシステム構成図である。
【００４１】
本実施の形態の３次元モデル生成装置は、記憶部１、画像入力部２、ユーザ入力部３、表示部４および３次元モデル生成部５によって構成されている。
【００４２】
記憶部１は、画像中の対象物体の概略形状モデルを含む各種データをあらかじめ記憶している。
【００４３】
また、画像入力部２としては、例えばデジタルスチルカメラ、スキャナ、ビデオキャプチャ等のさまざまな入力手段を用いることができるが、本実施の形態では、このような特定の入力手段だけでなく、任意の静止画像入力手段を用いることができる。
【００４４】
ユーザ入力部３は、操作者の操作により各種の情報を入力するブロックであり、ここでは、例えばキーボード類やマウス等のポインティングデバイス類を用いているが、この他にもさまざまな入力方法が可能である。
【００４５】
表示部４は、ＣＲＴや液晶ディスプレイ等からなり、生成された３次元モデルの表示や、操作者が選択等を行う際の選択候補の表示などに使用される。
【００４６】
３次元モデル生成部５は、演算処理装置であるＣＰＵ５１、３次元モデル生成プログラムを格納しているＲＯＭ５２、プログラム動作時のワークエリア等として用いられるＲＡＭ５３からなり、ＲＯＭ５２に格納されている３次元モデル生成プログラムに従い、画像入力部２から入力された画像情報、ユーザ入力部３から入力された各種の情報、記憶部１に記憶されている各種データ等に基づいて各種の演算処理を行い、３次元モデルを生成するブロックである。
【００４７】
この３次元モデル生成部５を機能的に分けると、入力された画像中の対象物体の大きさ、位置および方向を検出する手段と、記憶部１に記憶されている概略形状モデルを、検出した同じ大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算する第１の計算手段と、同じ概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算する第２の計算手段と、これら第１の計算手段および第２の計算手段により計算された同じ頂点の両画像上の座標の対応関係に基づいて画像の変形を行うことにより、対象物体をあらかじめ定めた規定の大きさ、位置および方向から見た場合の近似画像を生成する手段と、その近似画像を概略形状モデルに貼り付けるテクスチャマップデータとしてテクスチャ付き３次元モデルを生成する手段とを含んだ構成となっている。また、概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の輪郭付近および／または輪郭の外側に相当する領域を、輪郭の内側の画素値により埋めることにより、対象物体をあらかじめ定めた規定の大きさ、位置および方向から見た場合の近似画像を生成する手段をさらに含んだ構成となっている。
【００４８】
図２は、上記構成の３次元モデル生成装置による３次元モデルの生成動作（ＲＯＭ５２に格納されている３次元モデル生成プログラムの処理動作）を示すフローチャートである。以下の説明は、このフローチャートに沿って説明する。
【００４９】
操作者は、まず、画像入力部２より顔画像を入力する（ステップＳ１）。入力された顔画像は、表示部４に表示される。図３（ａ）は、表示部４に表示された入力画像（顔画像）３０１の例を示している。
【００５０】
次に操作者は、この顔画像３０１に対して、座標指定を行う（ステップＳ２）。すなわち、表示された顔画像３０１の目、鼻、口、輪郭上の点等の座標を入力する。図４は、座標指定の例を示しており、入力画像３０１の上にある十字が操作者によって座標指定されたポイントである。本実施の形態では、両目、鼻、口と、輪郭上での顎の先、左右の耳付近の計７点を入力している。
【００５１】
次に、このように入力された顔の座標情報から、顔の大きさ、位置および方向を推定（検出）する（ステップＳ３）。この顔の大きさ、位置および方向の推定方法にはさまざまな方法が考えられるが、本実施の形態では、標準顔形状モデルを、仮に推定した大きさ、位置および方向で画像上に投影する。そして、標準顔形状モデル上の目、鼻、口が投影された座標と、操作者の指定した点（目、鼻、口の点）との位置ずれを計算する。次に、この仮に推定した大きさ、位置および方向から少しずらした位置および方向に投影し、同様にして標準顔形状モデル上の目、鼻、口が投影された座標と、操作者の指定した点（目、鼻、口の点）との位置ずれを計算する。そして、このずれが最小となる大きさ、位置および方向を求め、これを次の仮に推定した大きさ、位置および方向として、上記の処理を繰り返す。このような処理を繰り返し、最後に、これ以上ずれが小さくならなくなったときの大きさ、位置および方向を、入力画像の顔の大きさ、位置および方向とする。
【００５２】
このようにして、ステップＳ３で顔の大きさ、位置および方向を推定すると、次に、画像上に標準顔形状データを投影して、テクスチャ画像を生成する（ステップＳ４）。すなわち、ステップＳ３で推定した顔の大きさ、位置および方向で標準顔形状データを画面上に投影し、標準顔形状データの全ての頂点の座標を計算する。図３（ｂ）に符号３０３で示す３次元モデルが、この推定した位置および方向による標準顔形状データの投影結果を模式的に表したものである。また、これと同時に、テクスチャ画像上に標準顔形状データを所定の大きさおよび位置で正面から平行投影し、標準顔形状データの全ての頂点の座標を計算する。図３（ｄ）に符号３０４で示す３次元モデルが、この所定の大きさおよび位置で正面から標準顔形状モデルを投影した結果を模式的に表したものである。すなわち、ある頂点の顔画像上での投影座標が、同一の頂点のテクスチャ画像上での投影座標に対応するものとし、この対応情報に基づき、画像変形の手法を用いて、顔画像からテクスチャ画像上に転写する。つまり、図３（ｂ）により表現される図形が、図３（ｄ）により表現される図形に画像変形しつつ転写されることになる。ここで用いられる画像変形の手法は、画像処理の分野ではよく知られた技術であり、この技術分野に属する技術者にとっては容易に実現できるものである。そのため、ここでは画像変形のより具体的な手法の説明を省略する。
【００５３】
ここで、このままでは場合により輪郭付近のテクスチャの色が不安定になることがあるため、輪郭付近を物体の色で塗ることにより、輪郭付近の色が安定するようにする（ステップＳ４−１）。図５は、この操作を模式的に説明する図である。すなわち、標準顔形状データの輪郭（符号５０１により示す）より少し中央寄りにエリア５０２を設定し、このエリア５０２の画素値の平均を取り、この画素値の平均となるように、標準顔形状データの輪郭付近の画素およびその外側の画素（符号５０３により示すエリア）を塗り潰す。この転写および塗り潰しの結果は、対象物体を所定の大きさおよび位置となるように正面から撮影した画素に近似した画像となっている。この画像を、標準顔形状データに対して正面から平行投影により貼り付けるテクスチャ画像として使用する。図３（ｃ）は、入力画像３０１（図３（ａ）参照）から作成されるテクスチャ画像３０２の例を示している。
【００５４】
次に、複数用意された顔形状モデル（概略形状モデル）から、モデルの選択を行う。本実施の形態では、まず自動顔形状モデル選択ステップにて自動的に顔形状モデルの選択を行い、次いで操作者による選択指示入力により顔形状モデルの選択を行う（ステップＳ５−１）。この場合、操作者は、自動で選択された顔形状モデルをそのまま使用してもよいが、ユーザ入力部３より選択指示を入力することにより、別の顔形状モデルを選択できるようになっている。
【００５５】
この自動顔形状モデル選択ステップ（ステップＳ５−１）は、以下の方法で実施される。
【００５６】
まず、入力画像中の対象物体である顔の外周に相当する部分付近でエッジ検出を行う。このエッジ検出はさまざまな手法が知られており、この技術分野に属する技術者にとっては容易に実現できるものであるため、エッジ検出の詳細については説明を省略する。また、エッジ検出を含め、輪郭検出にはさまざまな手法が考えられるが、それらの手法を本実施の形態の輪郭検出に適用することも容易に可能である。
【００５７】
次いで、この検出されたエッジの形状と、選択可能な顔形状モデルの外周部の形状との比較を行う。本実施の形態では、顔の中心から放射状に伸ばした線を考え、その線上において検出されたエッジと顔形状モデルの外周部との距離の差の自乗和を求めることを比較方法としている。図６はこの比較の様子を模式的に表した図である。同図において、符号６０１は検出された輪郭、符号６０２は顔形状モデルの外周部の形状、符号６０３は顔の中心、符号６０４は中心から放射状に伸ばした線のうちの１本、符号６０５は別の放射状に伸ばした線と、検出された輪郭６０１との交点、符号６０６は同じ別の放射状に伸ばした線と、顔形状モデルの外周部の形状６０２との交点、符号６０７はこの両交点６０５、６０６間の距離を表している。なお、図が複雑になるため説明を省略しているが、全ての放射状に伸ばした線に対して、輪郭６０１との交点および顔形状モデルの外周部の形状６０２との交点を求め、その交点間の距離を算出するこというまでもない。そして、これら全ての交点間の距離の自乗和を算出し、それを全てのあらかじめ用意された選択可能な顔形状３次元モデルに関して計算し、その計算された自乗和の値が最小値となる顔形状３次元モデルを選択する。以上が、自動顔形状モデル選択ステップの説明である。ただし、この方法以外にもさまざまな比較の方法が可能であり、それらの方法を本実施の形態の顔形状モデル選択に適用することは容易に可能である。
【００５８】
なお、本実施の形態では、顔形状モデル（概略形状モデル）は、あらかじめ所定の大きさおよび位置で正面から投影された画像をテクスチャ画像とするよう、あらかじめテクスチャ画像を貼り付けるための情報が付加されており、所定の大きさおよび位置で正面から投影された画像であれば、どの画像とどのモデルとの組み合わせであっても、正しい顔３次元モデルが生成されるようになっている。従って、どの顔形状モデルが選択されたとしても、テクスチャデータは上記で生成した１枚をそのまま使うだけでよい。つまり、操作者は、自動モデル選択ステップによるモデル選択結果に関わらず、モデルごとにテクスチャ画像の作り直しや、テクスチャ画像の貼り付けの微調整といった作業が全く不要となり、容易にモデルの選択が行えるようになっている。
【００５９】
図７は、このことを模式的に表現した図である。すなわち、複数ある顔形状３次元モデル（ここでは、７０１、７０２の２例を示している）のどちらを選択したとしても、単一のテクスチャ画像７０３との組み合わせにより、それぞれ顔３次元モデル７０４、７０５を得ることができる。
【００６０】
次に、髪型の形状モデルを選択する（ステップＳ５−２）。髪型の形状モデルは、顔形状モデルと整合させるため、あらかじめ接合面の形状や位置が全ての顔型（顔形状モデル）および髪型で統一されて作成されている。ただし、ここでいう統一とは、必ずしも完全に同一の形状をしていることを意味するものではなく、例えば接合面が同一形状の一部分のみで構成されるような形状も含んでいる。また、他にも組み合わせた場合に不整合が発生しない形状を考えることもでき、それらを本実施の形態の髪型の形状モデルの選択に適用することは容易に可能である。
【００６１】
このようにしてあらかじめ接合面の統一がなされているため、任意の顔型の３次元モデル（顔形状３次元モデル）が選択された状態で、任意の髪型の３次元モデルが選択された場合でも、大きさ、位置および方向の調整等をなんら行うことなく、単純に３次元モデルを組み合わせるだけで、顔に髪型の付いた３次元モデルを生成することができる。
【００６２】
図８は、このことを模式的に表現した図である。図中の符号８０１〜８０３は髪型の３次元モデル、符号８０４、８０５は顔の３次元モデルを模式的に表現したものである。８０１〜８０３の髪型の３次元モデルの接合部分（接合面）の形状は同一の形状であり、８０３の髪型の３次元モデルの接合部分の形状は、他の髪型の３次元モデル８０１、８０２の接合部分の一部分の形状で構成されている。また、符号８０６、８０７は、それぞれ髪型の３次元モデルと顔の３次元モデルとを組み合わせた例であり、符号８０６は髪型の３次元モデル８０３と顔の３次元モデル８０４とを組み合わせた例、符号８０７は髪型の３次元モデル８０１と顔の３次元モデル８０５とを組み合わせた例である。このように、任意の髪型と任意の顔の３次元モデルを組み合わせたとしても、全ての３次元モデルの接合部分の形状が統一されているため、接合部の不整合が発生することはなく、好ましい頭部３次元モデルが生成されている。
【００６３】
最後に、組み合わせて生成した頭部３次元モデルの全体に対し、横方向の拡大／縮小の操作を行う。顔形状３次元モデルの自動選択の過程（ステップＳ５−１）で取得した入力画像中の輪郭情報を元に、入力画像中の顔の幅が、あらかじめ定めておいた標準的な幅より広い場合には横方向に拡大し、入力画像中の顔の幅が、あらかじめ定めておいた標準的な幅より狭い場合には横方向に縮小する。操作者は、このような拡大／縮小率をそのまま使用してもよいし、ユーザ入力部３により拡大／縮小率を入力することにより、拡大／縮小率を変更してもよい。
【００６４】
このようにして生成されたテクスチャ画像と、自動もしくは操作者により選択された顔形状モデルおよび髪型形状モデルと、自動もしくは操作者により選択された頭部の拡大／縮小率とにより、頭部の３次元モデルを生成し、必要に応じて表示部４への表示や、図示しない出力部からの出力を行う。図９は、このようにして生成された頭部の３次元モデル９０１の例を示している。
【００６５】
図１０は、本発明の３次元モデル生成装置の他の実施の形態を示すシステム構成図である。
【００６６】
本実施の形態においては、外部から入力された画像、すなわち装置が外部から取得した画像（入力画像）に含まれる人物顔の顎の輪郭特徴を検出して、顎の形状を判定し、その形状判定結果に基づき、入力画像中の人物顔に対応する顔の３次元モデルを生成するものである。
【００６７】
すなわち、本実施の形態の３次元モデル生成装置は、電子画像を取得する画像取得手段としての画像入力部１１、入力画像の任意の位置を指定する手段としての位置指定部１２、入力画像中の特徴量を検出して、顎の形状を判定する特徴検出・判定手段１３、特徴に応じた３次元モデルを生成する３次元モデル生成手段１４、および生成した３次元モデルを外部に出力する出力部１５によって構成されている。
【００６８】
特徴検出・判定手段１３および３次元モデル生成手段１４は、その処理動作を行うために、演算装置１３ａ、１４ａと記憶装置（ＲＯＭ、ＲＡＭ等）１３ｂ、１４ｂとをそれぞれ備えている。なお、３次元モデル生成プログラムは、記憶装置１３ｂ、１４ｂのＲＯＭに格納されている。
【００６９】
また、特徴検出・判定手段１３をさらに機能的に分けると、顔の特徴点の位置情報を位置指定部１２により指定して、画像上の顔の中心位置を確定する手段と、顔輪郭の近傍に初期輪郭の配置を行う手段と、画像上の顔の中心位置と初期輪郭とに基づいて、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間の色差を算出し、対象画素間の座標中点を座標値として、算出した色差を画素値にもつ色差マップ画像を作成する手段と、作成した色差マップ画像を利用して、初期輪郭を動的輪郭モデルに従って移動させることにより、輪郭線を抽出する手段と、抽出した輪郭線を元に距離関数を算出する手段と、算出した距離関数の特徴を、基準となる顎形状の輪郭線からあらかじめ作成しておいた距離関数と比較することにより、顎の形状を判定する手段とを含んだ構成となっている。
【００７０】
図１１は、上記構成の３次元モデル生成装置による３次元モデル生成動作を示すフローチャートである。以下の説明は、このフローチャートに沿って説明する。
【００７１】
まず、前提として、画像入力部１１により、対象となる物体（以下、本実施の形態では原画像という）が記憶装置１３ｂ、１４ｂに格納されているものとする。
【００７２】
この状態で、操作者は、まず最初に顔の特徴点（目、口など）の位置情報を位置指定部１２により指定し、原画像上の顔の中心位置を確定する（ステップＳ２１）。この顔の中心位置は、操作者が、別に直接指定してもよいし、図１２に示すように、右目、左目、口の中心座標を指定（図中の符号１２１、１２２、１２３により示す）し、その中心を顔の中心位置として算出してもよい。
【００７３】
このようにして顔の中心位置を確定すると、次に顔輪郭の近傍に初期輪郭の配置を行う（ステップＳ２２）。初期の配置は、例えば、目と口の領域を囲むような閉領域を初期輪郭とする。すなわち、目や口の相対距離を統計的にあらかじめ調べておいて、目と口を囲むよな楕円輪郭線を配置すればよい。このようにして中心位置１３１および初期輪郭１３２を確定した画像を図１３に示す。
【００７４】
次に、このようにして確定した原画像と中心位置１３１および初期輪郭１３２とに基づいて、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間の色差を算出し、対象画素間の座標中点を座標値として、算出した色差を画素値にもつ画像（色差マップ画像）を作成する（ステップＳ２３）。
【００７５】
ここで、色差を算出する方法としては、例えば、画像データの各単色光ごとの輝度値を画素間でそれぞれ減算処理することにより差分値を算出し、各単色光ごとに算出した差分値の合計値を色差として算出する。また、別の方法としては、例えば画素データを各単色光の輝度値から、色相（Ｈ）、彩度（Ｓ）、輝度（Ｖ）で表現されるＨＳＶ値に変換し、色差を求める２画素のＨＳＶ空間上での位置を求め、その間の距離値を色差としてもよい。また、隣り合う画素間ではなく、例えば連続する複数の画素単位ごとに平均色を求め、その平均色同士の色差を求めてもよい。
【００７６】
また、色差の算出時には、対象が人物顔であることを利用して色差の検出精度を変更してもよい。例えば、色差を算出する際に比較する２画素の画素値が肌色を表す画素値に近い値をもつ場合、その２点の画素は顔輪郭内の画素である可能性が高いとみなし、色差の検出精度を低くして、ノイズ等の影響を軽減することができる。一方、顎と首とはどちらも肌色を表す画素値をもつ可能性が高く、その境目である顎境界を検出する際には、検出精度を上げた方がよい。従って、中心から首方向への直線上の色差検出では、色差の検出精度を高めるようにして、顎境界を検出し易くする。なお、首の位置は、例えば口の座標が既知であるならば、その座標から方向を推定することが可能である。
【００７７】
例えば、図１４に示すような顔中心１３１と初期輪郭１３２の上の座標点１４１を結ぶ直線１４２上の色差を求める場合の模式図を図１５に示す。図１５において、符号１５１で示す各値が直線上の画素値の並びを示し、符号１５２で示す値が隣り合う２点間の画素値の差分を示している。すなわち、この例では、符号１５２で示す配列が色差の並びを示している。
【００７８】
また、このようにして色差を検出した後に、さらに人物顔輪郭独自の特徴性を利用して、より顔輪郭形状に特化した色差マップ画像を作成してもよい。例えば、顔を楕円の相似形であると仮定し、図１６（ａ）、（ｂ）に示すように、顔中心を中心とする任意の大きさの楕円曲線１６１〜１６３上の１点と、これに隣り合う２点の計３点の色差（符号１６４により示す）を平均化して、その座標の色差として再格納することによりノイズの影響を抑制するようにしてもよい。図１６（ｂ）では、３点の色差がそれぞれ３２、２８、３４であるので、これを平均化して３２［（３２＋２８＋３４）÷３＝３１．３３、、、（端数切り上げ）］としている。
【００７９】
このように、人物顔であることを制約条件に用いることにより、鮮明な輪郭線が現れていない入力画像やノイズの多い画像に対しても、顎形状の特徴を特化した、より安定な色差マップ画像を作成することができる。
【００８０】
次に、このようにして作成した色差マップ画像を利用して、初期輪郭を動的輪郭モデルに従って移動させることにより、輪郭線を抽出（検出）する（ステップＳ２４）。
【００８１】
ここで、エネルギー関数Ｅとして、例えば、輪郭線のなめらかさを表す内部エネルギーＥ１、輪郭を収縮しようとするエネルギーＥ２、物体輪郭を特徴付ける画像エネルギーＥ３の和Ｅ＝Ｅ１＋Ｅ２＋Ｅ３を求め、このＥを最小化するように輪郭を移動させる。なお、動的輪郭モデルを用いて輪郭抽出を行う手法として、ここではＳｎａｋｅ法を利用している。Ｓｎａｋｅ法は、参考文献２（Ｍ．Ｋａｓｓ．「Ｓｎａｋｅｓ：Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌｓ」，Ｉｎｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ，ｐ．３２１，１９８８）に開示されている。
【００８２】
ここで、画像エネルギーＥ３には、ステップＳ２３で作成した色差マップ画像を利用する。すなわち、画像上の任意のＰ（ｘ，ｙ）における画像エネルギーＥ３（Ｐ）は、Ｐに対応する色差マップ画像上の色差値をＤ（Ｐ）としたとき、下式（１）から求められる。
【００８３】
Ｅ３（Ｐ）＝α×（ＭＡＸ（Ｄ）−Ｄ（Ｐ）） ・・・（１）
ただし、ＭＡＸ（Ｄ）：色差マップ画像中の色差の最大値、係数α：エネルギー関数Ｅにおける画像エネルギーの度合、である。
【００８４】
この式（１）に従えば、色差の小さいところほど画像エネルギーは大きくなるので、エネルギーを最小化する方向へと輪郭が移動しやすくなる。逆に色差が大きいところほど画像エネルギーは小さくなり、輪郭はそこから移動しにくくなる。すなわち、顔領域と背景領域との境目のような物体の色領域の境目で画像エネルギーが低くなるので、輪郭はそのような領域の境目で収束しやすくなる。
【００８５】
このように、画像エネルギーとしてステップＳ２３で求めた色差マップ画像を利用することにより、顎形状の特徴を加味したエネルギー画像を作成することができ、鮮明な輪郭線が現れていない入力画像やノイズの多い画像に対しても、より安定な顎検出を行うことができる。
【００８６】
次に、このようにして求めた輪郭線を元に距離関数を算出する（ステップＳ２５）。すなわち、輪郭線を顔内部の既知の座標、例えば顔中心からの距離ｒと方向（角度）θとからなる関数ｒ＝Ｌ（θ）として表現する。この様子を模式的に示したのが図１７である。
【００８７】
Ｌ（θ）は、θの値を単位角度ずつ変えたときのｒを求めてもよいし、例えば顎形状をより顕著に表す範囲（顔中心からみて首のある方向）は、単位角度を狭くし、他の方向に比べてより情報量を多くしてもよい。また、距離関数を例えば下式（２）によって表されるフーリエ記述子として表現してもよい。
【００８８】

ここで、Ａ（ｎ）：曲線形状を表す係数、ｅｘｐ（）：自然対数の底のベキ乗、ｓ：曲線上の距離、Ｌ：閉曲線の全長、である。フーリエ記述子に関する詳細は、例えば参考文献３（高木幹雄，下田陽久 監修，「画像解析ハンドブック」，東京大学出版会，１９９１．）に開示されている。
【００８９】
次に、このようにして求めた距離関数の特徴を、基準距離関数と比較することにより、顎の形状を判定する（ステップＳ２６）。ここで、基準距離関数とは、基準となる顎形状の輪郭線からあらかじめ作成しておいた距離関数のことである。基準となる顎形状の輪郭線は、輪郭線があらかじめ手動で検出されている画像を、類似の顎形状、例えば、ベース型、丸型等に分類し、その分類ごとに手動検出の輪郭線を平均化したものを利用すればよい。
【００９０】
距離関数の比較は、例えば、距離関数上の変曲点の位置、変曲点数、変曲点間の傾きなどを、その距離関数のもつ特徴と位置づけ、基準となる輪郭形状の距離関数の特徴とそれぞれ比較することにより行う。比較を行う際には、あらかじめ基準距離関数と位置とが整合するように正規化を行っておく必要がある。
【００９１】
なお、変曲点の位置や数、変曲点間の傾きは、基準形状の場合はあらかじめ求めておき、その情報をメモリ（記憶装置１３ｂ）に格納しておき、ステップＳ２５で求めた距離関数の変曲点の情報と適宜比較すればよい。そして、比較結果が最も近い基準距離関数をもつ形状を、判定結果として決定する。
【００９２】
なお、距離関数の比較は、より単純に基準距離関数との差分和を比較することことにより行うこともできる。図１８は、この様子を模式的に表現している。図１８中の符号ｚは、基準距離関数との差を示している。ここで、基準距離関数をＢ（θ）としたとき、差分和Ｚ１は下式（３）により与えられる。
【００９３】

すなわち、Ｚ１が最小となるＢ（θ）をもつ形状を判定形状として決定すればよい。この方法の場合は、θの範囲分のＢ（θ）を基準形状分だけメモリ（記憶装置１３ｂ）に用意しておく必要があるが、より詳細な形状の分類、判定を簡便に行うことができる利点がある。
【００９４】
また、平面上の曲線を周波数領域で記述する手法、例えばフーリエ記述子を用いて距離関数を表現すれば、これにより算出されるフーリエ係数をその距離関数のもつ特徴として位置づけることができるので、このフーリエ係数と、基準となる輪郭形状の距離関数のフーリエ係数との比較を行うことにより、上記と同様に形状判定を行うことができる。
【００９５】
基準距離関数をフーリエ記述子で表現し、そのフーリエ係数をＡｂ（ｎ）としたとき、対象距離関数のフーリエ係数との差分Ｚ２を下式（４）により求め、その求めたＺ２が最小となるＡｂ（ｎ）をもつ形状を判定形状として決定する。
【００９６】

一般に、フーリエ係数の低次の項にはおおまかな曲線形状、高次の項にはより詳細な曲線形状が反映されている。従って、低次の項の比較、すなわち上記の式（４）におけるｎの範囲を小さくしてＺ２を求めることにより、ノイズや個人差などの影響をなるべく排除した判定結果を得ることができる。
【００９７】
以上の処理動作（ステップＳ２１〜ステップＳ２６）は、特徴検出・判定手段１３によって行われる。特徴点に基づいて得られた顎形状結果は、３次元モデル生成手段１４に送られる。
【００９８】
３次元モデル生成手段１４では、特徴検出・判定手段１３において判定された顎形状に基づいて３次元モデルを決定し、所望の３次元モデルを生成する（ステップＳ２７）。
【００９９】
すなわち、顎形状の種類に応じて、プロのデザイナーなどが作成した３次元モデルの構造情報を記憶装置１４ｂにあらかじめ格納しておき、判定された顎形状に対応する顔の３次元モデル構造情報を記憶装置１４ｂから読み出して再生成すればよい。その結果は、ＣＲＴなどの出力部１５によって表示される。ここで、判定された顎形状に対応する顔が卵型、丸型、四角型であった場合に、それぞれの形状結果が対応する３次元モデルの生成例を図１９に示す。図１９中、符号１９１で示す３次元モデルが卵型、符号１９２で示す３次元モデルが丸型、符号１９３で示す３次元モデルが四角型である。
【０１００】
以上の処理動作により、実写画像などの２次元情報から、より安定な顎形状の検出と、その形状判定とを行い、その判定結果に基づいて３次元モデルを生成することができる。
【０１０１】
ところで、上記したように、顎形状によって例えば同じ卵型の３次元モデルが選択された場合でも、顔幅の広い人や狭い人など、個人差がある。そこで、このような個人差を考慮し、３次元モデルを生成する際に、別途求めた顔の各部位の特徴量を利用して、あらかじめ用意した基本となる３次元モデル構造を変形し、３次元モデルを生成することが考えられる。
【０１０２】
このようにするためには、図１０に示す特徴検出・判定手段１３に、顎形状の特徴検出だけでなく、例えば両目間の距離、目と口との距離などといった顔の各部位間の距離や、距離の比率を検出する機能を追加し、その検出結果を３次元モデル生成手段１４での３次元モデル生成時に利用すればよい。この場合、３次元モデル生成手段１４は、３次元モデルを生成する際に、同時に変形処理も行うように機能追加しておく必要がある。
【０１０３】
すなわち、各部位間の距離は、操作者が位置指定部１２で指定した各部位の位置情報に基づき、算出する。ここで、人物顔においては、各顔部品の位置関係および大きさは一定の拘束条件に従っているため、両目と口との位置関係や、両目間の距離と顔幅との比率関係など、各部位の位置関係はある範囲内での推定が可能である。すなわち、これら顔特有の各部位の位置関係を、あらかじめ複数の人物顔について計測（例えば、両目間の距離と顔幅について計測）し、その比率の平均や分散を求めておけば、顔幅などの情報を操作者が入力しなくても、両目の間隔などから推定することが可能となる。これにより、顔の各部位の特徴量を検出する際の操作者の負担を軽減することができる。
【０１０４】
このようにして検出した顔の各部位の特徴量に基づき、顔の３次元モデルを変形する。変形の対象となる顔の基本モデルは、上記した顎形状の判定結果に基づいて決定する。
【０１０５】
ここでは、顔の各部位の特徴量として、各部位間の距離の比率、例えば両目間の距離と、目口間の距離の比率（縦横比）を用いる場合について説明する。
【０１０６】
あらかじめ複数の人物顔について求めておいた比率の平均値と入力画像中の人物顔から得た比率とを比較し、顔の３次元モデル全体を比率に合わせて拡大、縮小する。
【０１０７】
例えば、入力画像中の人物顔から、図２０に符号２０１で示す３次元モデルが基準３次元モデルとして選択されている場合に、特徴量から得た縦横比が平均の比率と比べて縦方向が長い場合の変形例を同図の符号２０２により示し、横方向が長い場合の変形例を同図の符号２０３により示す。
【０１０８】
以上の処理動作により、操作者が位置指定部１２にりよ指定した顔の各部位の位置情報に基づいて、基準となる３次元モデルを変形させることができる。これにより、同じ３次元モデルが選択された場合でも、例えば顔幅の広い人や狭い人などの個人差に応じて、その人の特徴を生かした３次元モデルを容易に生成することが可能となる。
【０１０９】
以上、上記各実施の形態の３次元モデル生成装置は、その装置の３次元モデルの生成処理を、記憶部１および記憶装置１３ｂ、１４ｂに格納されている３次元モデル生成プログラムによって実現される。このプログラムは、コンピュータ読み取り可能な記録媒体に格納されている。本発明では、この記録媒体は、図示していないが、３次元モデル生成装置の内部にプログラム読み取り装置を備え、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよいし、あるいは本実施の形態のように、装置内部のプログラムメモリ等の記憶手段に格納されているものであってもよい。いずれの場合においても、格納されているプログラムは直接アクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示していない主記憶メモリにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは、あらかじめ装置本体に格納されているものとする。
【０１１０】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピディスクやハードディスク等の磁気ディスクや、ＣＤ−ＲＯＭ、ＭＯ、ＭＤ、ＤＶＤ等の光ディスクのディスク系、ＩＣカードや光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１１１】
また、本発明においては外部との通信が可能な手段（無線通信機能、あるいはインターネット等の公衆回線を介する有線通信機能）を備えている場合には、これを用いて外部と接続し、そこからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムはあらかじめ装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。
【０１１２】
【発明の効果】
本発明の３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラムを記録した記録媒体によれば、以下に示す種々の効果を奏する。
【０１１３】
すなわち、あらかじめ定めた方向以外の方向から撮影された画像を入力画像とした場合であっても、あらかじめ定めた方向から入力した画像と同様に扱い、かつ容易に３次元モデルを生成することができる。
【０１１４】
また、あらかじめ定めた方向以外の方向から撮影された画像を入力画像とした場合であっても、あらかじめ定めた方向から入力した画像と同様に扱って３次元モデルを生成することができ、かつ、概略形状と対象物体の形状とに差異がある場合でも、生成される３次元モデルの輪郭付近への対象物体以外の色の混入を防ぎ、より質の高い３次元モデルを生成することができる。
【０１１５】
また、あらかじめ定めた方向からの画像を使用することにより、複数のモデルに対して単一のテクスチャデータを用意するだけでよいので、３次元モデルを生成する際の手間が大幅に軽減される。
【０１１６】
また、テクスチャデータの作成に関し、あらかじめ定めた方向以外から撮影された画像でも使用可能となるので、さまざまな画像から３次元モデルを作成することができる。また、形状モデル同士の組み合わせに関し、あらかじめ整合するように作成されているため、操作者が調整や整合を行う必要がないので、操作者の負担が大きく軽減される。また、形状モデル同士の組み合わせに関し、組み合わせるための形状モデルを用意する場合に、さまざまな画像から３次元モデルを作成し、用意することが可能となるので、３次元モデルを作成し用意する手間が大きく軽減される。また、入力画像上の対象物体の形状に近い形状のモデルが自動的に選択されるため、操作者が形状モデルを選択する必要がなくなるので、操作者の負担が軽減される。
【０１１７】
また、操作者は、顔の目や口などの数箇所の特徴点を入力するだけで、実写画像などの２次元の顔画像から、より安定な顎検出とその形状判定とを行い、その判定結果に基づいて３次元モデルを容易に生成することができる。また、操作者は、顔の目や口などの数箇所の特徴点を入力するだけで、実写画像などの２次元の顔画像から、その顔画像の特徴を生かした３次元モデルを容易に生成することができる。
【図面の簡単な説明】
【図１】本発明の３次元モデル生成装置の一実施の形態を示すシステム構成図である。
【図２】本発明の３次元モデル生成装置による３次元モデルの生成動作を示すフローチャートである。
【図３】（ａ）は画像入力部より入力された画像例を示す説明図、（ｂ）は推定した位置および方向による標準顔形状データの投影結果も模式的に表した図、（ｃ）は入力画像から生成されたテクスチャ画像の説明図、（ｄ）は所定の大きさおよび位置で正面から標準顔形状モデルを投影した結果を模式的に表した図である。
【図４】入力画像の座標指定の例を示す説明図である。
【図５】（ａ）は輪郭付近で画素値を取得するエリアの例を示す説明図、（ｂ）は輪郭付近で色を塗るエリアの例を示す説明図である。
【図６】輪郭の比較の様子を模式に表した説明図である。
【図７】複数の概略顔形状モデルに対し、単一のテクスチャ画像を適用して３次元モデルを生成する様子を模式的に表した説明図である。
【図８】任意の顔と髪型の３次元モデルの組み合わせを可能にする方法を模式的に表した説明図である。
【図９】生成された３頭部の３次元モデルの例を示す説明図である。
【図１０】本発明の３次元モデル生成装置の他の実施の形態を示すシステム構成図である。
【図１１】他の実施の形態における３次元モデル生成動作を示すフローチャートである。
【図１２】位置指定の例を示す説明図である。
【図１３】入力画像中の中心座標および初期輪郭の配置を示す説明図である。
【図１４】初期輪郭上の一点と中心座標とを結ぶ直線上の色差算出を行う方法を説明するための図である。
【図１５】色差の算出例を模式的に示した説明図である。
【図１６】（ａ）、（ｂ）は顔輪郭形状に特化した色差算出を行う手法として顔が楕円形状であることを利用する場合について説明するための図である。
【図１７】抽出した顔輪郭線から距離関数を算出する手法を説明するための図である。
【図１８】入力画像から得られた距離関数と基準距離関数とを比較する手法を説明するための図である。
【図１９】顎形状の判定結果に対する顔の３次元モデルの例を示す説明図である。
【図２０】顔の特徴量に基づいて３次元モデルを変形した例を示す説明図である。
【符号の説明】
１ 記憶部
２ 画像入力部
３ ユーザ入力部
４ 表示部
５ ３次元モデル生成部
１１ 画像入力部
１２ 位置指定部
１３ 特徴検出・判定手段
１４ ３次元モデル生成手段
１３ａ、１４ａ 演算装置
１３ｂ、１４ｂ 記憶装置
１５ 出力部

Claims (11)

1. 入力画像からその画像に含まれる対象物体の３次元モデルを生成する装置であって、画像を入力する入力部と、入力された画像中の任意の位置を指定することのできる位置指定部と、前記画像中の対象物体の概略形状モデルを含む各種データをあらかじめ記憶している記憶部と、これら入力部より入力された画像情報、位置指定部により指定された位置情報および記憶部に記憶されている各種データに基づいて３次元モデルを生成する３次元モデル生成部とからなり、
   前記３次元モデル生成部は、
   入力された画像中の対象物体の大きさ、位置および方向を検出する手段と、
   前記記憶部に記憶されている概略形状モデルを、検出した同じ大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算する第１の計算手段と、
   同じ概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算する第２の計算手段と、
   これら第１の計算手段および第２の計算手段により計算された同じ頂点の両画像上の座標の対応関係に基づいて画像の変形を行う手段と、
   前記概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の輪郭付近および／または輪郭の外側に相当する領域を、輪郭の内側の画素値により埋めることにより、対象物体をあらかじめ定めた規定の大きさ、位置および方向から見た場合の近似画像を生成する手段と、
   この近似画像を概略形状モデルに貼り付けるテクスチャマップデータとしてテクスチャ付き３次元モデルを生成する手段と、を備えていることを特徴とする３次元モデル生成装置。
2. 前記記憶部は、あらかじめテクスチャの貼り付け規則を一定に定めた複数の概略形状モデルを記憶しており、前記３次元モデル生成部は、あらかじめ定めたテクスチャの貼り付け規則に適合するようにテクスチャを作成し、用意された複数の概略形状モデルから１つのモデルを選択し、選択した概略形状モデルと作成されたテクスチャとを組み合わせてテクスチャ付き３次元モデルを生成することを特徴とする請求項１に記載の３次元モデル生成装置。
3. 入力画像からその画像に含まれる顔の３次元モデルを生成する装置であって、顔の画像を入力する入力部と、入力された顔の各部位を指定することのできる位置指定部と、これら入力部より入力された画像情報、位置指定部により指定された位置情報に基づいて顔の３次元モデルを生成する３次元モデル生成部とからなり、
   前記３次元モデル生成部は、
   前記位置指定部により指定された１つ以上の位置情報に基づいて顎の特徴を検出し、その検出した顎の輪郭特徴から顎の形状を判定する特徴検出・判定手段と、
   この判定結果に対応する構造の３次元モデルを選択して、所望の３次元モデルを生成する３次元モデル生成手段と、を備えたことを特徴とする３次元モデル生成装置。
4. 前記特徴検出・判定手段は、
   顔の特徴点の位置情報を前記位置指定部により指定して、画像上の顔の中心位置を確定する手段と、
   顔輪郭の近傍に初期輪郭の配置を行う手段と、
   画像上の顔の中心位置と初期輪郭とに基づいて、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間の色差を算出し、対象画素間の座標中点を座標値として、算出した色差を画素値にもつ色差マップ画像を作成する手段と、
   作成した色差マップ画像を利用して、初期輪郭を動的輪郭モデルに従って移動させることにより、輪郭線を抽出する手段と、
   抽出した輪郭線を元に距離関数を算出する手段と、
   算出した距離関数の特徴を、基準となる顎形状の輪郭線からあらかじめ作成しておいた距離関数と比較することにより、顎の形状を判定する手段とを含むことを特徴とする請求項３に記載の３次元モデル生成装置。
5. 前記特徴検出・判定手段は、前記位置指定部により指定された１つ以上の位置情報に基づいて顔の各部位の特徴量を検出する特徴量検出手段をさらに含み、
   前記３次元モデル生成手段は、検出した顔の各部位の特徴量に基づいて、選択された３次元モデルの構造を変形する手段を含むことを特徴とする請求項４に記載の３次元モデル生成装置。
6. 入力画像からその画像に含まれる対象物体の３次元モデルを生成する３次元モデル生成装置による３次元モデル生成方法であって、
   入力部から対象物体の画像を入力するステップと、
   入力された画像中の対象物体の大きさ、位置および方向を検出するステップと、
   記憶部に記憶されている概略形状モデルを、検出した同じ大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算するステップと、
   同じ概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算するステップと、
   これらのステップにより計算された同じ頂点の両画像上の座標の対応関係に基づいて画像の変形を行うステップと、
   前記概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の輪郭付近および／または輪郭の外側に相当する領域を、輪郭の内側の画素値により埋めることにより、対象物体をあらかじめ定めた規定の大きさ、位置および方向から見た場合の近似画像を生成するステップと、
   この近似画像を概略形状モデルに貼り付けるテクスチャマップデータとしてテクスチャ付き３次元モデルを生成するステップと、を備えたことを特徴とする３次元モデル生成方法。
7. 入力画像からその画像に含まれる顔の３次元モデルを生成する方法であって、
   入力部から顔の画像を入力するステップと、
   入力された顔の各部位を位置指定部によって指定するステップと、
   位置指定部により指定された１つ以上の位置情報に基づいて顎の輪郭特徴を検出し、その検出した顎の輪郭特徴から顎の形状を判定するステップと、
   この判定結果に対応する構造の３次元モデルを選択して、所望の３次元モデルを生成するステップと、を備えたことを特徴とする３次元モデル生成方法。
8. 入力画像からその画像に含まれる顔の３次元モデルを生成する方法であって、
   入力部から顔の画像を入力するステップと、
   入力された顔の特徴点の位置情報を位置指定部により指定して、画像上の顔の中心位置を確定するステップと、
   顔輪郭の近傍に初期輪郭の配置を行うステップと、
   画像上の顔の中心位置と初期輪郭とに基づいて、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間の色差を算出し、対象画素間の座標中点を座標値として、算出した色差を画素値にもつ色差マップ画像を作成するステップと、
   作成した色差マップ画像を利用して、初期輪郭を動的輪郭モデルに従って移動させることにより、輪郭線を抽出するステップと、
   抽出した輪郭線を元に距離関数を算出するステップと、
   算出した距離関数の特徴を、基準となる顎形状の輪郭線からあらかじめ作成しておいた距離関数と比較することにより、顎の形状を判定するステップと、
   この判定結果に対応する構造の３次元モデルを選択して、所望の３次元モデルを生成するステップと、を含むことを特徴とする３次元モデル生成方法。
9. 入力画像からその画像に含まれる対象物体の３次元モデルを生成するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   入力部から対象物体の画像を入力するステップと、
   入力された画像中の対象物体の大きさ、位置および方向を検出するステップと、
   記憶部に記憶されている概略形状モデルを、検出した同じ大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算するステップと、
   同じ概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の各頂点の画像上の位置を計算するステップと、
   これらのステップにより計算された同じ頂点の両画像上の座標の対応関係に基づいて画像の変形を行うステップと、
   前記概略形状モデルをあらかじめ定めた規定の大きさ、位置および方向に投影した場合の輪郭付近および／または輪郭の外側に相当する領域を、輪郭の内側の画素値により埋めることにより、対象物体をあらかじめ定めた規定の大きさ、位置および方向から見た場合の近似画像を生成するステップと、
   この近似画像を概略形状モデルに貼り付けるテクスチャマップデータとしてテクスチャ付き３次元モデルを生成するステップと、を含むことを特徴とする３次元モデル生成プログラムを記録した記録媒体。
10. 画像からその画像に含まれる顔の３次元モデルを生成するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    入力部から顔の画像を入力するステップと、
    入力された顔の各部位を位置指定部によって指定するステップと、
    位置指定部により指定された１つ以上の位置情報に基づいて顎の輪郭特徴を検出し、その検出した顎の輪郭特徴から顎の形状を判定するステップと、
    この判定結果に対応する構造の３次元モデルを選択して、所望の３次元モデルを生成するステップと、を含むことを特徴とする３次元モデル生成プログラムを記録した記録媒体。
11. 画像からその画像に含まれる顔の３次元モデルを生成するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    入力部から顔の画像を入力するステップと、
    入力された顔の特徴点の位置情報を位置指定部により指定して、画像上の顔の中心位置を確定するステップと、
    顔輪郭の近傍に初期輪郭の配置を行うステップと、
    画像上の顔の中心位置と初期輪郭とに基づいて、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間の色差を算出し、対象画素間の座標中点を座標値として、算出した色差を画素値にもつ色差マップ画像を作成するステップと、
    作成した色差マップ画像を利用して、初期輪郭を動的輪郭モデルに従って移動させることにより、輪郭線を抽出するステップと、
    抽出した輪郭線を元に距離関数を算出するステップと、
    算出した距離関数の特徴を、基準となる顎形状の輪郭線からあらかじめ作成しておいた距離関数と比較することにより、顎の形状を判定するステップと、
    この判定結果に対応する構造の３次元モデルを選択して、所望の３次元モデルを生成するステップと、を含むことを特徴とする３次元モデル生成プログラムを記録した記録媒体。

Images