JP3757123B2

JP3757123B2 - ３次元ｃｇキャラクタ生成方法、その装置、その方法を実現するためのプログラム、及びそのプログラムを記録した記録媒体

Info

Publication number: JP3757123B2
Application number: JP2001049546A
Authority: JP
Inventors: 大樹森; 大祐箕浦
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2001-02-26
Filing date: 2001-02-26
Publication date: 2006-03-22
Anticipated expiration: 2021-02-26
Also published as: JP2002251635A

Description

【０００１】
【発明の属する技術分野】
本発明は、仮想空間等での自分の分身（キャラクタ）を、本人の外見情報に基づいてコンピュータグラフィックス（ＣＧ）で表現することを可能とした３次元ＣＧキャラクタ生成方法、その装置、その方法を実現するためのプログラム、及びそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、「感性擬人化エージェントのための顔情報処理システム」（ｈｔｔｐ：／／ｔｏｋｙｏ．ｉｍａｇｅ−ｌａｂ．ｏｒ．ｊｐ／ａａ／ｉｐａ／ｉｎｄｅｘ．ｈｔｍｌ）や「３ＤＭｅＮｏｗ」（ｈｔｔｐ：／／ｗｗｗ．ｂｉｏｖｉｒｔｕａｌ．ｃｏｍ／）、「ちょｂｉｔ３Ｄ」（ｈｔｔｐ：／／ｗｗｗ．ｓｐａｃｅｔｏｗｎ．ｎｅ．ｊｐ／ｍｅｂｉｕｓ／ｌｉｂ／ｔ−ｂｉｔ３ｄ／ｃｈｏｂｉ．ｈｔｍｌ）のように、撮影された顔画像を用いることによって、実際の頭部と同様な形状を有する３次元キャラクタを生成する方法がある。
【０００３】
これらを含む従来の３次元キャラクタ生成方法は、あらかじめ頭部の基本３次元形状モデルを用意しておき、撮影された顔画像から得られる個人顔特徴に基づいて基本モデルの細部を変更し、３次元形状モデルをカスタマイズした上で、このカスタマイズしたモデルに対して、撮影画像に加工処理した画像を貼り付ける、といったものが主流である。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の３次元キャラクタ生成方法では、細部まで表現しようとするため、３次元形状モデルが複維となり、また多数の顔特徴点を画像から抽出する必要がある。このためキャラクタ生成に要する処理が増えたり、利用者自身による操作の手間が増えたりする、といった問題点が生じる。また、撮影画像に加工処理した画像を貼り付けるため、実際の頭部形状に忠実な復元には適しているが、特徴的な顔部分を強調するといったデフォルメ処理には向いていない、という問題点がある。
【０００５】
本発明は、上記の問題点に鑑みなされたものであり、対象者の外見情報を反映した３次元ＣＧキャラクタ生成方法、その装置、その方法を実現するためのプログラム、及びそのプログラムを記録した記録媒体を提供することを課題とする。
【０００６】
【課題を解決するための手段】
前記の課題を解決するため、本発明による３次元ＣＧキャラクタ生成方法は、対象者を撮影する撮影手段と、撮影手段で撮影した撮影情報を記憶する記憶手段と、マウス等の移動入力手段から入力される指定点情報に従って、顔部品の２次元配置情報を自動抽出する自動抽出処理手段と、頭部の３次元構造復元処理手段と、前記３次元構造復元処理手段の結果を３次元ＣＧで描画表示する出力手段と、上記撮影手段、記憶手段、自動抽出処理手段、３次元構造復元処理手段及び出力手段を制御する制御手段と、を備えた３次元ＣＧキャラクタ生成装置における３次元ＣＧキャラクタ生成方法において、対象者の頭部を正面と側面の２方向から前記撮影手段により撮影した撮影情報から、側面顔と正面顔の外形、顔部品領域の縁を前記自動抽出処理手段により抽出し、顔特徴点の２次元配置情報を獲得し、前記顔特徴点の２次元配置情報に基づいて、頭部骨格を水平に分割した各部分ごとにそれぞれ３次元幾何図形で近似し、この近似した各部分を統合することによって頭部骨格の３次元構造を前記復元処理手段により復元し、前記顔特徴点の２次元配置情報に基づいて、鼻と口をそれぞれ複数の３次元幾何図形で近似し、この３次元幾何図形を統合することによって鼻と口の３次元構造を復元し、前記顔特徴点の２次元配置情報に基づいて、肌、眉、目をそれぞれ複数の２次元幾何図形で近似し、この２次元幾何図形を統合することによって肌、眉、目の２次元構造を復元し、前記復元された３次元構造の頭部骨格、鼻、口の表面に前記復元された２次元構造の肌、眉、目を貼り付けて頭部形状の３次元ＣＧキャラクタを生成し、前記出力手段に表示することを特徴とする。
【０００７】
あるいは、上記の３次元ＣＧキャラクタ生成方法であって、前記側面顔と正面顔の外形、顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得する過程では、予め指定された側面顔と正面顔の所定部分の位置情報に基づいて、側面顔と正面顔の外形及び顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得することを特徴とする。
【０００８】
あるいは、上記の３次元ＣＧキャラクタ生成方法であって、前記頭部形状の３次元ＣＧキャラクタを生成した後、前記復元の際の３次元幾何図形及び２次元幾何図形に対して、対象者の３次元顔特徴に変化を加えることを特徴とする。
【０００９】
また、本発明による３次元ＣＧキャラクタ生成装置は、対象者の頭部を正面と側面の２方向から撮影した撮影情報から、側面顔と正面顔の外形、顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得する手段と、前記顔特徴点の２次元配置情報に基づいて、頭部骨格を水平に分割した各部分ごとにそれぞれ３次元幾何図形で近似し、この近似した各部分を統合することによって頭部骨格の３次元構造を復元する手段と、前記顔特徴点の２次元配置情報に基づいて、鼻と口をそれぞれ複数の３次元幾何図形で近似し、この３次元幾何図形を統合することによって鼻と口の３次元構造を復元する手段と、前記顔特徴点の２次元配置情報に基づいて、肌、眉、目をそれぞれ複数の２次元幾何図形で近似し、この２次元幾何図形を統合することによって肌、眉、目の２次元構造を復元する手段と、前記復元された３次元構造の頭部骨格、鼻、口の表面に前記復元された２次元構造の肌、眉、目を貼り付けて頭部形状の３次元ＣＧキャラクタを生成する手段とを有することを特徴とする。
【００１０】
あるいは、上記の３次元ＣＧキャラクタ生成装置であって、前記側面顔と正面顔の外形、顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得する手段は、予め指定された側面顔と正面顔の所定部分の位置情報に基づいて、側面顔と正面顔の外形及び顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得する手段であることを特徴とする。
【００１１】
あるいは、上記の３次元ＣＧキャラクタ生成装置であって、前記頭部形状の３次元ＣＧキャラクタを生成した後、前記復元の際の３次元幾何図形及び２次元幾何図形に対して対象者の３次元顔特徴に変化を加える手段を有することを特徴とする。
【００１２】
また、本発明は、３次元ＣＧキャラクタ生成装置における各手段の機能をコンピュータで実現するためのプログラムとしたことを特徴とする。
【００１３】
あるいは、本発明は、３次元ＣＧキャラクタ生成装置を実現するためのプログラムを記録した記録媒体であって、該プログラムをコンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１８】
本発明では、１以上の計算機端末と前記計算機端末と接続された１以上のカメラ等の撮影機器を含み、前記計算機端末では、前記撮影機器で得られた撮影画像に対して、利用者が簡易な入力を行うことにより、個人特定に必要最低限な顔特徴量を自動抽出し、前記顔特徴量に基づいた簡易な幾何図形による近似モデル化により、２次元構造と３次元構造の頭部顔部品を復元することによって、さらには、前記顔部品の中で特徴的な顔部品をより強調するために、その顔部品のスケール、形状等を変化させることによって、個性をより際立たせた頭部形状の３次元ＣＧキャラクタを自動生成可能とする。
【００１９】
従来方法とは、外見情報を忠実かつ精細に復元するのではなく、簡易な入力操作による顔特徴点抽出と簡易な近似モデル表現によって全体の抽象化を図り、個性をより顕著化した表現をする点が最も異なる。
【００２０】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を詳細に説明する。
【００２１】
［装置構成の実施形態例］
本発明を実施するための装置、およびシステムの構成例について説明する。
【００２２】
本発明の実施形態例に適用される簡易３次元ＣＧキャラクタ自動生成システムの構成を図１に示す。本構成では利用者端末装置１と単数もしくは複数の撮影機器２が直接もしくはネットワーク３を介して接続されている。
【００２３】
利用者端末装置１は、マウス、キーボード等を備えているパソコン（ＰＣ）であり、必要に応じて撮影機器２やネットワーク３に接続されている。また撮影機器２が内蔵されているカメラ搭載型のマルチメディアパソコンでもよい。
【００２４】
まず、利用者端末装置１は、利用者の撮影要求入力を撮影機器２に送信後、撮影情報を受信し、記憶装置に保存する。
【００２５】
次に、利用者端末装置１は、利用者から操作要求が入力されれば、前記撮影情報を出力手段によって表示し、次に利用者が操作するマウス等の移動入力装置から入力される指定点情報に従って、顔部品２次元配置情報の自動抽出処理を行い、次に頭部の３次元形状復元処理を行った後、その結果を出力手段によって３次元ＣＧで描画する。
【００２６】
利用者端末装置１は、出力手段によって３次元ＣＧを描画した際に、利用者からの編集要求があれば、利用者の操作するマウスやキーボードからの入力に従って変更された頭部の３次元形状を再描画する。
【００２７】
撮影機器２は、ビデオカメラ、スキャナー等からなり、必要に応じて利用者端末装置１やネットワーク３に接続されている。
【００２８】
撮影機器２は、利用者端末装置１からの撮影要求を送信し、対象者４を撮影した後、前記撮影情報を利用者端末装置２へ送信する。
【００２９】
［処理の流れの実施形態例］
本発明における処理の流れの実施形態例を図２に示す。
【００３０】
以下、図面と共に本実施形態例を説明する。
【００３１】
まず、利用者は、マウスやキーボード等によって利用者端末装置１に撮影要求を入力する。
【００３２】
図３は、撮影機器２によって対象者４を側面方向から側面顔５（図６〜８）を撮影している例を示し、図４は撮影機器２によって対象者４を正面方向から正面顔６（図６〜８）を撮影している例を示す。ここで、撮影機器２が１台の場合は、対象もしくは撮影機器を移動させながら別々に撮影を行うが、２台の場合は、図５で示すように対象者４に対して側面、正面それぞれの方向に設置しておき、同時に撮影しても良い。
【００３３】
次に、撮影情報からの顔特徴点の獲得を、例えば次のように行う。
【００３４】
利用者端末装置１の出力画面上に表示される側面顔５、正面顔６の撮影情報に対し、利用者は操作によって、図６（ａ），（ｂ）で示すように側面顔の目、口、頭部鉛直軸上下端点の４点、正面顔の両目、口の３点をそれぞれ入力点に指定する。入力された指定点の情報に従って、側面顔５、正面顔６の顔外形と顔部品の縁情報をそれぞれ自動抽出し、図７で示すように、側面顔の外形縁上に存在する定点群（眉、目、鼻頂上、、鼻下、上唇頂上、唇中央、下唇頂上、あご中央口、あご先端）と正面顔の外形縁上に存在する定点群（眉、目、鼻頂上、鼻下、上唇頂上、唇中央、下唇頂上、あご中央口、あご先端）および顔部品領域縁上に存在する定点群（唇および目領域の各上下左右端点、鼻および口領域の各左右端点）を顔特徴点７の２次元配置情報として獲得する。
【００３５】
次に、３次元構造としての３次元形状の復元を、例えば次のように行う。
【００３６】
頭部骨格の３次元形状は、頭部全体を水平にスライスした部分の集合体として定義し、そのスライス位置は側面顔５から得られる顔特徴点７のうち、外形縁上の点である、眉、目、鼻下、層中央、あご中央口、あご先端の２次元配置情報によって決定する。各スライス位置での断面は、図８で示すように側面顔５、正面顔６それぞれの顔の横幅を長軸、短軸とする半楕円８で近似する。図９で示すように、このような断面を上面、底面とする楕円錘台９をスライスした部分の形状として定義し、全てを統合した図形を頭部骨格モデル１０とする。
【００３７】
鼻の３次元形状は、顔特徴点７のうち、鼻部品を構成する特徴点の配置情報に基づいて、図１０で示すように四面体１１と半楕円錘１２を併せた部分の形状として定義し、鼻モデル１３（図１５に示す）とする。
【００３８】
口の３次元形状は、顔特徴点７のうち、口部品を構成する特徴点の配置情報に基づいて、図１１で示すように三角柱１４と半楕円柱１５の共通部分の形状として定義し、口モデルとする。
【００３９】
次に、２次元構造としての肌、眉、目の２次元テキスチャの作成を、例えば次のように行う。
【００４０】
肌、眉、目は、前記の３次元形状の表面を覆う２次元テキスチャ１７として定義し、図１２で示すように、肌部分は一様な平均色として作成し、目と眉は円と楕円によって定義して作成する。
【００４１】
次に、各３次元モデルへのテキスチャ貼り付けを、例えば次のように行う。
【００４２】
作成された２次元テキスチャ１７は、頭部骨格モデル１０と鼻モデル１３、口モデルの表面に貼り付ける。これにより、頭部形状が、図１３で示すように、頭部３次元形状１８として３次元ＣＧによって表現される。
【００４３】
次に、個性の強調を、例えば次のように行う。
【００４４】
個性の強調は、図１４（ａ），（ｂ）に示すような複数対象の顔部品の２次元配置情報を平均化した平均顔特徴点１９との比較に基づいて、もしくは利用者自身が任意に、頭部３次元形状１８を構成する各顔部品モデルを変化させ、対象者の３次元顔特徴をより顕著に表現することによって行う。例えば、鼻モデル１３の強調は、鼻モデル１３を構成する四面体１１と半楕円錘１２のスケールを拡大、または縮小することによって行う。鼻モデル１３について、拡大した鼻モデル２０と縮小した鼻モデル２１の強調例を図１５に示す。
【００４５】
なお、図１で示した装置における各部の一部もしくは全部での処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００４６】
【発明の効果】
本発明によれば、対象者の外見情報に基づいた３次元ＣＧキャラクタを簡易に自動生成することが出来るという効果がある。また、顔部品の強調により、より個性を際立たせた３次元ＣＧキャラクタの作成を実現できるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態例を実現するためのシステム全体の構成図
【図２】本発明の一実施形態例の処理の流れ図
【図３】本発明の一実施形態例における側面顔の撮影例を示す図
【図４】本発明の一実施形態例における正面顔の撮影例を示す図
【図５】本発明の一実施形態例における側面顔と側面顔の同時撮影例を示す図
【図６】（ａ），（ｂ）は、本発明の一実施形態例における利用者による入力点指定の例を示す図
【図７】本発明の一実施形態例における顔特徴点の抽出例を示す図
【図８】本発明の一実施形態例における顔の幅情報を用いた半楕円の近似例を示す図
【図９】本発明の一実施形態例における頭部骨格モデルの復元例を示す図
【図１０】本発明の一実施形態例における鼻モデルの復元例を示す図
【図１１】本発明の一実施形態例における口モデルの復元例を示す図
【図１２】本発明の一実施形態例における２次元テキスチャの生成例を示す図
【図１３】本発明の一実施形態例における３次元ＣＧによって表現された頭部３次元形状例を示す図
【図１４】（ａ），（ｂ）は、本発明の一実施形態例における平均顔の顔特徴点配置例を示す図
【図１５】本発明の一実施形態例における鼻モデルの強調表現例を示す図
【符号の説明】
１…利用者端末装置
２…撮影機器
３…ネットワーク
４…対象者
５…側面顔
６…正面顔
７…顔特徴点
８…半楕円
９…楕円錘台
１０…頭部骨格モデル
１１…四面体
１２…半楕円錘
１３…鼻モデル
１４…三角柱
１５…半楕円柱
１６…口モデル
１７…２次元テキスチヤ
１８…頭部３次元形状
１９…平均顔特徴点
２０…拡大した鼻モデル
２１…縮小した鼻モデル

Claims

対象者を撮影する撮影手段と、
撮影手段で撮影した撮影情報を記憶する記憶手段と、
マウス等の移動入力手段から入力される指定点情報に従って、顔部品の２次元配置情報を自動抽出する自動抽出処理手段と、
頭部の３次元構造復元処理手段と、
前記３次元構造復元処理手段の結果を３次元ＣＧで描画表示する出力手段と、
上記撮影手段、記憶手段、自動抽出処理手段、３次元構造復元処理手段及び出力手段を制御する制御手段と、を備えた３次元ＣＧキャラクタ生成装置における３次元ＣＧキャラクタ生成方法において、
対象者の頭部を正面と側面の２方向から前記撮影手段により撮影した撮影情報から、側面顔と正面顔の外形、顔部品領域の縁を前記自動抽出処理手段により抽出し、顔特徴点の２次元配置情報を獲得し、
前記顔特徴点の２次元配置情報に基づいて、頭部骨格を水平に分割した各部分ごとにそれぞれ３次元幾何図形で近似し、この近似した各部分を統合することによって頭部骨格の３次元構造を前記復元処理手段により復元し、
前記顔特徴点の２次元配置情報に基づいて、鼻と口をそれぞれ複数の３次元幾何図形で近似し、この３次元幾何図形を統合することによって鼻と口の３次元構造を復元し、
前記顔特徴点の２次元配置情報に基づいて、肌、眉、目をそれぞれ複数の２次元幾何図形で近似し、この２次元幾何図形を統合することによって肌、眉、目の２次元構造を復元し、
前記復元された３次元構造の頭部骨格、鼻、口の表面に前記復元された２次元構造の肌、眉、目を貼り付けて頭部形状の３次元ＣＧキャラクタを生成し、前記出力手段に表示する
ことを特徴とする３次元ＣＧキャラクタ生成方法。
請求項１記載の３次元ＣＧキャラクタ生成方法であって、
前記側面顔と正面顔の外形、顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得する過程では、
予め指定された側面顔と正面顔の所定部分の位置情報に基づいて、側面顔と正面顔の外形及び顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得する
ことを特徴とする３次元ＣＧキャラクタ生成方法。
請求項１または２記載の３次元ＣＧキャラクタ生成方法であって、
前記頭部形状の３次元ＣＧキャラクタを生成した後、前記復元の際の３次元幾何図形及び２次元幾何図形に対して、対象者の３次元顔特徴に変化を加える
ことを特徴とする３次元ＣＧキャラクタ生成方法。
対象者の頭部を正面と側面の２方向から撮影した撮影情報から、側面顔と正面顔の外形、顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得する手段と、
前記顔特徴点の２次元配置情報に基づいて、頭部骨格を水平に分割した各部分ごとにそれぞれ３次元幾何図形で近似し、この近似した各部分を統合することによって頭部骨格の３次元構造を復元する手段と、
前記顔特徴点の２次元配置情報に基づいて、鼻と口をそれぞれ複数の３次元幾何図形で近似し、この３次元幾何図形を統合することによって鼻と口の３次元構造を復元する手段と、
前記顔特徴点の２次元配置情報に基づいて、肌、眉、目をそれぞれ複数の２次元幾何図形で近似し、この２次元幾何図形を統合することによって肌、眉、目の２次元構造を復元する手段と、
前記復元された３次元構造の頭部骨格、鼻、口の表面に前記復元された２次元構造の肌、眉、目を貼り付けて頭部形状の３次元ＣＧキャラクタを生成する手段とを有する
ことを特徴とする３次元ＣＧキャラクタ生成装置。
請求項４記載の３次元ＣＧキャラクタ生成装置であって、
前記側面顔と正面顔の外形、顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得する手段は、
予め指定された側面顔と正面顔の所定部分の位置情報に基づいて、側面顔と正面顔の外形及び顔部品領域の縁を抽出し、顔特徴点の２次元配置情報を獲得する手段である
ことを特徴とする３次元ＣＧキャラクタ生成装置。
請求項４または５記載の３次元ＣＧキャラクタ生成装置であって、
前記頭部形状の３次元ＣＧキャラクタを生成した後、前記復元の際の３次元幾何図形及び２次元幾何図形に対して対象者の３次元顔特徴に変化を加える手段を有する
ことを特徴とする３次元ＣＧキャラクタ生成装置。
請求項４から請求項６のいずれか１項記載の３次元ＣＧキャラクタ生成装置における各手段の機能をコンピュータで実現するためのプログラムとした
ことを特徴とする３次元ＣＧキャラクタ生成装置を実現するためのプログラム。
請求項７記載の３次元ＣＧキャラクタ生成装置を実現するためのプログラムを記録した記録媒体であって、
該プログラムをコンピュータが読み取り可能な記録媒体に記録した
ことを特徴とする３次元ＣＧキャラクタ生成装置を実現するためのプログラムを記録した記録媒体。