JP5632469B2 - キャラクタ生成システム、キャラクタ生成方法及びプログラム - Google Patents

Description

本発明は、コンピュータを用いて実現される仮想空間内のキャラクタを生成するキャラクタ生成システム、キャラクタ生成方法及びプログラムに関する。特に、携帯ゲーム装置を用いて実現される仮想空間内のキャラクタの顔を、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として生成するキャラクタ生成システム、キャラクタ生成方法及びプログラムに関する。

従来、携帯ゲーム装置等のコンピュータを用いて実現されるゲーム等の仮想空間において表示される登場キャラクタは、予め用意された複数のキャラクタの中からユーザが所望のキャラクタを選択し、選択したキャラクタを登場キャラクタとして、仮想空間に表示させていた。

また、仮想空間において表示される登場キャラクタに対して、デジタルカメラ等で撮影されたユーザの思い入れのある撮像画像を貼り付ける画像処理装置や画像処理方法も提案されている。例えば、特許文献１では、２次元画像情報を取り込み、仮想３次元物体の特徴位置に対応して設けられているゲージを備えた切り抜き範囲指定用の枠を使って、該２次元画像情報から、所定範囲の２次元画像情報を切り出し、切り出した２次元画像情報を仮想３次元物体に貼り付ける画像処理装置や画像処理方法が開示されている。

特開２０００−２３５６５６号公報

しかしながら、特許文献１に開示されているようにデジタルカメラ等で撮影された２次元画像情報から顔部分の２次元画像情報（顔撮像画像情報）を切り出して、仮想３次元物体（頭部形状モデル）に貼り付ける場合、キャラクタを生成するためのデータ量が多くなり、携帯ゲーム装置のように記憶容量の少ない装置においては、キャラクタを生成するのに時間がかかってしまったり、生成したキャラクタを仮想空間内で動かしたりするときに処理速度が遅くなってしまったり、登場させるキャラクタの数が制限されてしまったりするという問題があった。また、被写体の顔そのままの画像をキャラクタの顔として表示させたくない場合、あるいは、個人情報保護のために表示できない場合もある。

本発明は、以上のような問題点を解決するためになされたもので、携帯ゲーム装置等のコンピュータを用いて実現される仮想空間内のキャラクタの顔を、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として容易に生成することが可能なキャラクタ生成システム、キャラクタ生成方法及びプログラムを提供することを目的とする。

上述した従来の問題点を解決すべく下記の発明を提供する。
本発明の第１の態様にかかるキャラクタ生成システムは、コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として生成するキャラクタ生成システムであって、前記コンピュータが、前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する撮像画像取得手段と、前記撮像画像取得手段によって取得された前記対象物の前記顔撮像画像情報から、所定の顔部品の特徴点及び所定画素の色情報を抽出し、抽出した前記所定画素の色情報に基づいて前記キャラクタの頭部テクスチャの肌色となる前記対象物の肌色に類似した類似肌色情報を設定し、更に、抽出した前記特徴点に基づいて前記対象物の前記顔部品に類似した前記顔部品に対応する類似アニメ調パーツを選択し、選択した前記類似アニメ調パーツの配置を設定することにより前記顔部品に対応した顔部品テクスチャを生成する顔部品テクスチャ生成手段と、所定の前記顔部品の前記特徴点に基づいて、前記頭部形状モデルを生成する形状モデル生成手段と、前記キャラクタの頭部形状モデルに貼り付けられる前記顔部品テクスチャ以外の前記頭部テクスチャの色情報を前記顔部品テクスチャ生成手段によって設定された前記類似肌色情報に置き換え、前記顔部品テクスチャ生成手段によって生成された前記顔部品テクスチャを、前記キャラクタの前記頭部形状モデルに貼り付けるテクスチャ貼付手段と、を備えていることを特徴とする。

本発明の第２の態様にかかるキャラクタ生成システムは、本発明の第１の態様にかかるキャラクタ生成システムの前記顔部品テクスチャ生成手段が、前記撮像画像取得手段によって取得された前記対象物の前記顔撮像画像情報から、前記所定の顔部品の前記特徴点の位置情報を取得するとともに、前記所定画素の色情報を取得する特徴点抽出手段と、前記特徴点抽出手段によって取得された前記特徴点の位置情報に基づいて、前記顔部品に対応して予め用意された複数のアニメ調パーツの中から前記対象物の前記顔部品の形状に類似した前記類似アニメ調パーツを選択するパーツ選択手段と、前記特徴点抽出手段によって取得された前記所定画素の色情報に基づいて、予め用意された複数の肌色情報の中から前記対象物の肌色に類似した前記類似肌色情報を選択する肌色設定手段と、前記特徴点抽出手段によって取得された前記特徴点の位置情報に基づいて、前記パーツ選択手段によって選択された前記顔部品に対応する前記類似アニメ調パーツの配置を設定し、設定した前記類似アニメ調パーツの配置に基づいて前記顔部品テクスチャを生成するパーツ配置設定手段と、を備えていることを特徴とする。

本発明の第３の態様にかかるキャラクタ生成システムは、本発明の第２の態様にかかるキャラクタ生成システムの前記パーツ選択手段が、前記顔部品が左右２つの基本顔部品から構成されるとき、左右どちらか一方の前記基本顔部品の前記特徴点の位置情報を顔中心線に対して線対称に移動させた位置情報に変換し、左右２つの前記基本顔部品の前記特徴点の位置情報の平均値から前記基本顔部品の形状を推定し、推定した前記基本顔部品の形状に対応した前記類似アニメ調パーツを前記複数のアニメ調パーツの中から選択し、前記顔部品が１つの前記基本顔部品から構成されるとき、前記顔部品の前記特徴点の位置情報から前記顔部品の形状を推定し、推定した前記顔部品の形状に対応した前記類似アニメ調パーツを前記複数のアニメ調パーツの中から選択することを特徴とする。

本発明の第４の態様にかかるキャラクタ生成システムは、本発明の第２または３の態様にかかるキャラクタ生成システムの前記パーツ配置設定手段が、前記頭部形状モデルに貼り付けられる位置が予め設定されている前記顔部品に対応した前記顔部品テクスチャにおいて、予め設定されている鼻及び口の前記顔部品テクスチャ内の位置に、鼻の前記類似アニメ調パーツ及び口の前記類似アニメ調パーツを配置し、予め設定されている目の前記顔部品テクスチャ内の上下方向の位置に、前記特徴点の位置情報から算出した左右の目の間隔で、顔中心線に対して左右の目の前記類似アニメ調パーツが線対象となるように配置し、予め設定されている眉の前記顔部品テクスチャ内の左右方向の位置に、前記特徴点の位置情報から算出した上下方向の位置で、顔中心線に対して左右の眉の前記類似アニメ調パーツが線対象となるように配置し、鼻、口、目、及び眉に対応した前記類似アニメ調パーツの配置に基づいて、鼻、口、目、及び眉に対応した前記顔部品テクスチャを生成することを特徴とする。

本発明の第５の態様にかかるキャラクタ生成システムは、本発明の第２または３の態様にかかるキャラクタ生成システムの前記パーツ配置設定手段が、前記頭部形状モデルに貼り付けられる位置が予め設定されている前記顔部品に対応した前記顔部品テクスチャにおいて、前記特徴点抽出手段によって取得された前記顔部品の前記特徴点の位置情報に基づいて前記顔部品に対応した前記顔部品テクスチャ内の前記類似アニメ調パーツの位置を算出し、算出した前記類似アニメ調パーツの位置に基づいて前記顔部品テクスチャを生成することを特徴とする。

本発明の第６の態様にかかるキャラクタ生成システムは、本発明の第４または５の態様にかかるキャラクタ生成システムの前記パーツ配置設定手段が、前記顔部品に対応する複数のモデル顔部品テクスチャの中から、前記顔部品に対応する前記類似アニメ調パーツの配置に類似した配置のアニメ調パーツを持つ類似モデル顔部品テクスチャを選択し、選択した類似モデル顔部品テクスチャを前記顔部品テクスチャとして設定することを特徴とする。

本発明の第７の態様にかかるキャラクタ生成システムは、本発明の第１乃至６のいずれか１つの態様にかかるキャラクタ生成システムの前記形状モデル生成手段が、顔輪郭に対応して予め用意された複数の輪郭形状モデルの中から、顔輪郭の前記特徴点に基づいて、顔輪郭に類似した基礎頭部形状モデルを選択し、顔輪郭以外の所定の顔部品に対応して予め用意された複数の部品形状モデルの中から、前記所定の顔部品の前記特徴点に基づいて、前記所定の顔部品に類似した類似部品形状モデルを選択し、選択した前記基礎頭部形状モデルと前記類似部品形状モデルとを組み合わせて前記頭部形状モデルを生成することを特徴とする。

本発明の第８の態様にかかるキャラクタ生成システムは、本発明の第１乃至６のいずれか１つの態様にかかるキャラクタ生成システムの前記形状モデル生成手段が、顔輪郭に対応して予め用意された複数の基準形状モデルの中から、顔輪郭の前記特徴点に基づいて、顔輪郭に類似した前記頭部形状モデルを選択することを特徴とする。

本発明の第９の態様にかかるキャラクタ生成システムは、本発明の第１乃至８のいずれか１つの態様にかかるキャラクタ生成システムにおいて、前記コンピュータが、前記表示部を制御して、所定の前記顔部品の配置を示す顔配置ガイド情報と前記対象物を前記表示部に表示させる表示制御手段と、撮像部を制御して、前記対象物を撮像させ、前記対象物の前記撮像画像情報を前記所定の記憶部に格納させる撮像制御手段と、を更に備え、前記撮像画像取得手段は、前記表示制御手段と前記撮像制御手段とを連動させて、前記顔配置ガイド情報と前記対象物とを前記表示部に表示させながら、前記顔配置ガイド情報に基づいて前記対象物を撮像させた前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する。

本発明の第１０の態様にかかるキャラクタ生成システムは、本発明の第１乃至９のいずれか１つの態様にかかるキャラクタ生成システムにおいて、前記コンピュータが、入力部を制御して、前記対象物の前記撮像画像情報を含む各種情報を入力情報として入力させ、前記対象物の前記撮像画像情報を前記所定の記憶部に格納させる入力制御手段を更に備え、前記撮像画像取得手段は、前記表示制御手段と前記入力制御手段とを連動させて、前記顔配置ガイド情報と入力された前記対象物の前記撮像画像情報とを前記表示部に表示させながら、前記顔配置ガイド情報に基づいた前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する。

本発明の第１１の態様にかかるキャラクタ生成システムは、本発明の第９または１０の態様にかかるキャラクタ生成システムにおいて、前記顔配置ガイド情報によって配置が示される所定の前記顔部品は、顔輪郭を少なくとも含んでいることを特徴とする。

本発明の第１の態様にかかるキャラクタ生成方法は、コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として生成するキャラクタ生成方法であって、前記コンピュータが、（ａ）前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する工程と、（ｂ）前記工程（ａ）によって取得された前記対象物の前記顔撮像画像情報から、前記所定の顔部品の前記特徴点の位置情報を取得するとともに、前記所定画素の色情報を取得する工程と、（ｃ）前記工程（ａ）によって取得された所定の前記顔部品の前記特徴点に基づいて、前記キャラクタの頭部形状モデルを生成する工程と、（ｄ）前記工程（ａ）によって取得された前記所定画素の色情報に基づいて前記キャラクタの頭部テクスチャの肌色となる前記対象物の肌色に類似した類似肌色情報を設定し、更に、前記工程（ａ）によって取得された前記特徴点に基づいて前記対象物の前記顔部品に類似した前記顔部品に対応する類似アニメ調パーツを選択し、選択した前記類似アニメ調パーツの配置を設定することにより前記顔部品に対応した顔部品テクスチャを生成する工程と、（ｅ）前記工程（ｄ）によって生成された前記顔部品テクスチャを、前記キャラクタの前記頭部形状モデルに貼り付けるとともに、前記工程（ｃ）によって生成された前記頭部形状モデルに貼り付けられた前記頭部テクスチャの肌の部分の色情報を前記工程（ｄ）によって設定された前記類似肌色情報に置き換える工程と、を備えていることを特徴とする。

本発明の第２の態様にかかるキャラクタ生成方法は、本発明の第１の態様にかかるキャラクタ生成方法の前記工程（ｄ）が、（ｄ１）前記工程（ｂ）によって取得された前記特徴点の位置情報に基づいて、前記顔部品に対応して予め用意された複数のアニメ調パーツの中から前記対象物の前記顔部品の形状に類似した前記類似アニメ調パーツを選択する工程と、（ｄ２）前記工程（ｂ）によって取得された前記所定画素の色情報に基づいて、予め用意された複数の肌色情報の中から前記対象物の肌色に類似した前記類似肌色情報を選択する工程と、（ｄ３）前記工程（ｂ）によって取得された前記特徴点の位置情報に基づいて、前記工程（ｄ１）によって選択された前記顔部品に対応する前記類似アニメ調パーツの配置を設定し、設定した前記類似アニメ調パーツの配置に基づいて前記顔部品テクスチャを生成する工程と、を備えていることを特徴とする。

本発明の第３の態様にかかるキャラクタ生成方法は、本発明の第２の態様にかかるキャラクタ生成方法の前記工程（ｄ１）が、前記顔部品が左右２つの基本顔部品から構成されるとき、左右どちらか一方の前記基本顔部品の前記特徴点の位置情報を顔中心線に対して線対称に移動させた位置情報に変換し、左右２つの前記基本顔部品の前記特徴点の位置情報の平均値から前記基本顔部品の形状を推定し、推定した前記基本顔部品の形状に対応した前記類似アニメ調パーツを前記複数のアニメ調パーツの中から選択し、前記顔部品が１つの前記基本顔部品から構成されるとき、前記顔部品の前記特徴点の位置情報から前記顔部品の形状を推定し、推定した前記顔部品の形状に対応した前記類似アニメ調パーツを前記複数のアニメ調パーツの中から選択することを特徴とする。

本発明の第４の態様にかかるキャラクタ生成方法は、本発明の第２または３の態様にかかるキャラクタ生成方法の前記工程（ｄ３）が、前記頭部形状モデルに貼り付けられる位置が予め設定されている前記顔部品に対応した前記顔部品テクスチャにおいて、予め設定されている鼻及び口の前記顔部品テクスチャ内の位置に、鼻の前記類似アニメ調パーツ及び口の前記類似アニメ調パーツを配置し、予め設定されている目の前記顔部品テクスチャ内の上下方向の位置に、前記特徴点の位置情報から算出した左右の目の間隔で、顔中心線に対して左右の目の前記類似アニメ調パーツが線対象となるように配置し、予め設定されている眉の前記顔部品テクスチャ内の左右方向の位置に、前記特徴点の位置情報から算出した上下方向の位置で、顔中心線に対して左右の眉の前記類似アニメ調パーツが線対象となるように配置し、鼻、口、目、及び眉に対応した前記類似アニメ調パーツの配置に基づいて、鼻、口、目、及び眉に対応した前記顔部品テクスチャを生成することを特徴とする。

本発明の第５の態様にかかるキャラクタ生成方法は、本発明の第２または３の態様にかかるキャラクタ生成方法の前記工程（ｄ３）が、前記頭部形状モデルに貼り付けられる位置が予め設定されている前記顔部品に対応した前記顔部品テクスチャにおいて、前記工程（ｂ）によって取得された前記特徴点の位置情報に基づいて前記顔部品に対応した前記顔部品テクスチャ内の前記類似アニメ調パーツの位置を算出し、算出した前記類似アニメ調パーツの位置に基づいて前記顔部品テクスチャを生成することを特徴とする。

本発明の第６の態様にかかるキャラクタ生成方法は、本発明の第４または５の態様にかかるキャラクタ生成方法の前記工程（ｄ３）が、前記顔部品に対応する複数のモデル顔部品テクスチャの中から、前記顔部品に対応する前記類似アニメ調パーツの配置に類似した配置のアニメ調パーツを持つ類似モデル顔部品テクスチャを選択し、選択した類似モデル顔部品テクスチャを前記顔部品テクスチャとして設定することを特徴とすることを特徴とする。

本発明の第７の態様にかかるキャラクタ生成方法は、本発明の第１乃至６のいずれか１つの態様にかかるキャラクタ生成方法の前記工程（ｃ）が、顔輪郭に対応して予め用意された複数の輪郭形状モデルの中から、顔輪郭の前記特徴点に基づいて、顔輪郭に類似した基礎頭部形状モデルを選択し、顔輪郭以外の所定の顔部品に対応して予め用意された複数の部品形状モデルの中から、前記所定の顔部品の前記特徴点に基づいて、前記所定の顔部品に類似した類似部品形状モデルを選択し、選択した前記基礎頭部形状モデルと前記類似部品形状モデルとを組み合わせて前記頭部形状モデルを生成することを特徴とすることを特徴とする。

本発明の第８の態様にかかるキャラクタ生成方法は、本発明の第１乃至６のいずれか１つの態様にかかるキャラクタ生成方法の前記工程（ｃ）が、顔輪郭に対応して予め用意された複数の基準形状モデルの中から、顔輪郭の前記特徴点に基づいて、顔輪郭に類似した前記頭部形状モデルを選択することを特徴とする。

本発明の第９の態様にかかるキャラクタ生成方法は、本発明の第１乃至８のいずれか１つの態様にかかるキャラクタ生成方法において、前記コンピュータが、（ｆ）所定の前記顔部品の配置を示す顔配置ガイド情報と前記対象物とを前記表示部に表示させながら、前記顔配置ガイド情報に基づいて前記対象物を撮像し、前記対象物の前記撮像画像情報を前記所定の記憶部に格納する工程を、前記（ａ）の前に更に備え、前記工程（ａ）は、前記顔配置ガイド情報に基づいて、前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する。

本発明の第１０の態様にかかるキャラクタ生成方法は、本発明の第１乃至９のいずれか１つの態様にかかるキャラクタ生成方法において、前記コンピュータが、（ｇ）前記対象物の前記撮像画像情報を入力して、前記所定の記憶部に格納する工程を、前記（ａ）の前に更に備え、前記工程（ａ）は、所定の前記顔部品の配置を示す前記顔配置ガイド情報と、前記工程（ｇ）によって入力された前記対象物の前記撮像画像情報とを前記表示部に表示させながら、前記顔配置ガイド情報に基づいて、前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する。

本発明の第１１の態様にかかるキャラクタ生成方法は、本発明の第９または１０の態様にかかるキャラクタ生成方法において、前記顔配置ガイド情報によって配置が示される所定の前記顔部品は、顔輪郭を少なくとも含んでいることを特徴とする。

本発明の第１の態様にかかるプログラムは、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として生成するための処理を、コンピュータに実行させるプログラムであって、本発明の第１乃至第１１のいずれか１つの態様にかかるキャラクタ生成システムの各手段を実現させる処理を前記コンピュータに実行させることを特徴とする。

本発明によれば、携帯ゲーム装置等のコンピュータを用いて実現される仮想空間内のキャラクタの顔を、デジタルカメラ等で撮影された対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として容易に生成することができる。また、ゲーム等の仮想空間内に登場するキャラクタの顔を、ユーザの顔撮像画像情報に基づいたアニメ調の似顔絵として生成することにより、該キャラクタに対してユーザがより感情移入をすることができ、より娯楽性の高いゲームソフトウェアを構築することができる。また、写真画像を使用したキャラクタのデータ量に比較してアニメ調の似顔絵を使用したキャラクタのデータ量は少なく、ゲーム等の処理速度を早くしたり、より多くのキャラクタを登場させたりするゲームソフトウェアを構築することができる。

本発明の一実施形態にかかるキャラクタ生成システム１０によって生成されたキャラクタ７０の一例を示したもので、（ａ）は女性のキャラクタ７０ａを、（ｂ）は男性のキャラクタ７０ｂを示した一例である。 本発明の一実施形態に係るにかかるキャラクタ生成システム１０を実行させる携帯ゲーム装置２０の概略構成を示す図である。 顔配置ガイド情報が表示された表示画面の一例である。 本発明の一実施形態にかかるキャラクタ生成システム１０におけるシステム構成の一例を示す図である。 顔部品テクスチャを説明するための頭部形状モデル６０の正面から見た平面図である。 （ａ）は、特徴点を説明するための図であり、（ｂ）は右目領域４１の拡大図である （ａ）乃至（ｃ）は、女性の眉のアニメ調パーツの複数の例を示した図である。 （ａ）乃至（ｃ）は、女性の目のアニメ調パーツの複数の例を示した図である。 （ａ）乃至（ｃ）は、女性の口のアニメ調パーツの複数の例を示した図である。 （ａ）乃至（ｃ）は、男性の眉のアニメ調パーツの複数の例を示した図である。 （ａ）乃至（ｃ）は、男性の目のアニメ調パーツの複数の例を示した図である。 （ａ）乃至（ｃ）は、男性の口のアニメ調パーツの複数の例を示した図である。 顔部品テクスチャ５１内における類似アニメ調パーツの配置を説明するための頭部形状モデル６０の正面から見た平面図である。 鼻の無い状態の基礎頭部形状モデル７１と類似部品形状モデル７２を説明するための図で、（ａ）は、顔正面の平面図であり、（ｂ）は、顔側面の平面図である。 頭部形状モデル６０を説明するための図で、（ａ）は、顔正面の平面図であり、（ｂ）は、顔側面の平面図である。 本発明の一実施形態にかかるキャラクタ生成方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。

本発明の一実施形態を、図面を参照しながら説明する。なお、以下に説明する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なもので置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

本発明の一実施形態にかかるキャラクタ生成システム１０は、コンピュータ上で動作するゲーム等のソフトウェアによって実現される仮想空間において、該仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物（例えば、ユーザ自身）の顔撮像画像情報に基づいたアニメ調の似顔絵として生成するキャラクタ生成システムである。図１は、本発明の一実施形態にかかるキャラクタ生成システム１０によって生成された、携帯ゲーム装置上で動作するゲームソフトウェアによって実現される仮想空間内のキャラクタ７０の一例を示したもので、（ａ）は女性のキャラクタ７０ａを、（ｂ）は男性のキャラクタ７０ｂを示した一例である。

ここで、対象物の顔撮像画像情報とは、デジタルカメラ等を用いて撮像された人物の撮像画像情報における顔部分の撮像画像情報であり、コンピュータに接続された、あるいは内蔵された撮像部を使用して、撮像部から直接取得した撮像画像情報であっても、コンピュータに接続された入力部から入力された、過去に撮像された撮像画像情報であっても良い。また、一枚の撮像画像情報を部分的に修正したり、複数の撮像画像を合成したりして、一枚の顔撮像画像情報にした画像情報であっても良い。また、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵とは、対象物の顔撮像画像情報に類似し、さらに、かわいらしさを強調させた漫画やアニメーションに登場する人物のような顔のことである。

まず、本発明の一実施形態にかかるキャラクタ生成システム１０を実行させるコンピュータの概略構成について説明する。尚、本実施形態においては、コンピュータとして、携帯ゲーム装置２０を例に挙げて説明する。

図２は、本発明の一実施形態に係るにかかるキャラクタ生成システム１０を実行させる携帯ゲーム装置２０の概略構成を示す図である。図２に示すように、携帯ゲーム装置２０は、ＣＰＵ（中央処理装置）２１、ＲＯＭ２２、ＲＡＭ２３、表示部２４、撮像部２５、入力部２６を備えている。

ＣＰＵ２１は、携帯ゲーム装置２０で実行させるキャラクタ生成システム１０を実現するためのソフトウェアおよびデータを記憶しているＲＯＭ２２から、必要な情報を読み出し、実行することにより、キャラクタ生成システム１０を実現する。また、ＲＡＭ２３は、携帯ゲーム装置２０で実行させるキャラクタ生成システム１０を実現するために必要なデータの記憶装置及びソフトウェアの実行作業領域として機能する。

また、表示部２４は、ＣＰＵ２１からの命令に従って表示情報（例えば、ユーザに作業を促すための情報、顔配置ガイド情報等）を出力する。ここで、顔配置ガイド情報とは、被写体の撮像画像情報において、顔部分となる顔撮像画像情報を取り出すための位置基準及び範囲を設定するため情報で、所定の顔部品の配置を示す表示情報である。また、所定の顔部品とは、顔を構成する目、鼻、口、顔輪郭、眉等の部品であり、少なくとも顔輪郭を含んでいる。図３は、顔配置ガイド情報が表示された表示画面の一例である。図３に示すように、顔配置ガイド情報は、鼻の位置３１、顔の輪郭３２を示している。また、顔の輪郭３２は、キャラクタ７０の頭部形状モデルに対応するものである。

また、撮像部２５は、ＣＰＵ２１からの命令に従って被写体を撮像し、撮像した被写体の撮像画像情報をＲＡＭ２３に記憶する。また、入力部２６は、例えば、操作ボタン、通信装置、外部記憶装置等であり、ＣＰＵ２１からの命令に従って入力情報（例えば、ユーザによって操作された操作ボタンの情報、撮像画像情報等）を入力して、ＲＡＭ２３に記憶する。

次に、本発明の一実施形態にかかるキャラクタ生成システム１０におけるシステム構成について説明する。図４は、本発明の一実施形態にかかるキャラクタ生成システム１０におけるシステム構成の一例を示す図である。

図４に示すように、キャラクタ生成システム１０は、表示制御部１１、撮像制御部１２、入力制御部１３、撮像画像情報取得部１４、顔部品テクスチャ生成部１５、形状モデル生成部１６、テクスチャ貼付部１７、キャラクタ情報記憶部１８、及びガイド情報記憶部１９を備えている。また、顔部品テクスチャ生成部１５は、特徴点抽出部１５１、パーツ選択部１５２、肌色設定部１５３、及びパーツ配置設定部１５４を備えている。

表示制御部１１は、表示部２４を制御して、所定の顔部品の配置を示す顔配置ガイド情報、ユーザに作業を促すための情報等の必要な情報をガイド情報記憶部１９から取り出させ、取り出させた情報から表示情報を生成させ表示させる。尚、表示制御部１１は、上述した制御に限らず、表示部２４の全ての処理を制御する。また、撮像制御部１２は、撮像部２５を制御して被写体を撮像させ、撮像した被写体の撮像画像情報をキャラクタ情報記憶部１８に記憶させる。また、入力制御部１３は、対応する入力部２６を制御して様々な入力情報（例えば、過去に撮像した撮像画像情報等）を入力させ、必要な情報をキャラクタ情報記憶部１８に記憶させる。ここで、被写体の撮像画像情報をキャラクタ情報記憶部１８に記憶させると記載しているが、一時的な記憶部に記憶させても良い。

撮像画像情報取得部１４は、表示制御部１１と撮像制御部１２とを連動させて、所定の顔部品の配置を示す顔配置ガイド情報と対象物（被写体）とを表示部２４に表示させて、顔配置ガイド情報の顔部品の配置に合うように被写体の顔を撮像させる（図３参照）。特に、顔の輪郭３２の横幅及び顎輪郭（下側輪郭）と、被写体の顔の横幅及び顎輪郭とを合わせるようにして、被写体の顔を撮像させる。

また、撮像画像情報取得部１４は、顔撮像画像情報に基づいたアニメ調の似顔絵を生成するために、撮像した被写体の撮像画像情報から顔撮像画像情を取得する。顔撮像画像情報は、撮像部２５によって撮像された被写体の撮像画像情報から取得したものであるが、入力部２６から入力された被写体の撮撮像画像情報から取得したものであっても良い。即ち、撮像画像情報取得部１４は、表示制御部１１と入力制御部１３とを連動させて、所定の顔部品の配置を示す顔配置ガイド情報と被写体の撮撮像画像情報とを表示部２４に表示させながら、顔配置ガイド情報の顔部品の配置と被写体の撮撮像画像情報の中の顔部品の配置とを相対的に合わせながら、顔配置ガイド情報に合わせた顔撮撮像画像情を取得する。

顔部品テクスチャ生成部１５は、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵となるキャラクタ７０の頭部形状モデル６０（図１５（ａ）及び（ｂ）参照）に貼り付ける、鼻、口、目、眉等の顔部品に対応した部品テクスチャを生成する機能で、特徴点抽出部１５１、パーツ選択部１５２、肌色設定部１５３、及びパーツ配置設定部１５４から構成される。図５は、顔部品テクスチャを説明するための頭部形状モデル６０を正面から見た平面図である。

図５に示すように、顔部品テクスチャ５１（例えば、口の顔部品テクスチャ５１ａ、鼻の顔部品テクスチャ５１ｂ、目の顔部品テクスチャ５１ｃ、眉の顔部品テクスチャ５１ｄ）は、頭部形状モデル６０に対して貼り付けられる位置が予め設定されている。また、顔部品テクスチャ５１は、対象物の顔部品に類似した類似アニメ調パーツ５２が配置されたテクスチャである。例えば、図５に示すように、目の顔部品テクスチャ５１ｃの場合、右目及び左目の基本顔部品に基づいて選択された２つの類似アニメ調パーツ５２が配置されたテクスチャである。また、図５では、それぞれの顔部品テクスチャ５１は重ならないように配置されているが、少なくとも異なる類似アニメ調パーツ５２同士が重ならなければ、顔部品テクスチャ５１が重なって配置されていても良い。

尚、本明細書では、目のように左右２つある場合、右目及び左目それぞれを基本顔部品と呼び、左右の目をまとめて顔部品と呼ぶ。また、口のように１つしかない場合は、口を基本顔部品及び／または顔部品と呼ぶ。また、頭部形状モデル６０に貼り付けられるテクスチャを頭部テクスチャ５０と呼び、顔部品テクスチャ５１以外の頭部テクスチャ５０を余白部５４と呼ぶ。即ち、頭部形状モデル６０に貼り付けられる頭部テクスチャ５０は、顔部品テクスチャ５１と余白部５４とから構成される。

顔部品テクスチャ生成部１５の特徴点抽出部１５１は、撮像画像情報取得部１４によって取得された顔撮像画像情報から、所定の顔部品の特徴点及び所定画素の色情報を抽出する。即ち、撮像画像情報取得部１４によって取得された顔撮像画像情報から、所定の顔部品の特徴点の位置情報を取得するとともに、所定画素の色情報を取得する。図６（ａ）は、特徴点を説明するための図であり、（ｂ）は右目領域４１の拡大図である。図６（ａ）、（ｂ）では、所定の顔部品として、眉、目、鼻、口、顔の輪郭を設定している。また、黒丸で示した点は特徴点を示している。特徴点とは、所定の顔部品の形状を特徴付ける点で、例えば、右目領域４１内の７つの黒丸が、右目の特徴点４３ａ〜４３ｇである。また、所定画素の色情報とは、例えば、鼻の頂点４２の画素の色情報、両方の目の下の位置４３ａ及び４４ａの画素の色情報である。尚、右目や左目等の右左は図面に向かって右側、左側とする。また、色情報とは、ＲＧＢ、ＹＵＶ等で表される色の情報である。

顔部品テクスチャ生成部１５のパーツ選択部１５２は、特徴点抽出部１５１によって抽出された所定の顔部品の特徴点の位置情報に基づいて、該顔部品の形状を推定し、推定した該顔部品の形状に類似した類似アニメ調パーツ５２を、予め用意された複数のアニメ調パーツの中から選択する。ここで、アニメ調パーツとは、対応する顔部品をデフォルメした絵である。また、アニメ調パーツは、性別、人種、年齢等に基づいて、複数用意されている。図７乃至図１２は、顔部品に対応したアニメ調パーツの例を示した図である。図７（ａ）乃至（ｃ）は、女性の眉のアニメ調パーツの複数の例を示した図である。図８（ａ）乃至（ｃ）は、女性の目のアニメ調パーツの複数の例を示した図である。図９（ａ）乃至（ｃ）は、女性の口のアニメ調パーツの複数の例を示した図である。図１０（ａ）乃至（ｃ）は、男性の眉のアニメ調パーツの複数の例を示した図である。図１１（ａ）乃至（ｃ）は、男性の目のアニメ調パーツの複数の例を示した図である。図１２（ａ）乃至（ｃ）は、男性の口のアニメ調パーツの複数の例を示した図である。

図６（ａ）、（ｂ）に示すように、例えば目の場合、目の幅（点４３ｂと点４３ｆとの間隔）、目の高さ（点４３ａと点４３ｄとの間隔）、たれ目や釣り目等を示す目の傾き（点４３ｇと点４３ｂとを結ぶ線分４９と、点４３ｇから水平に左右方向（Ｘ方向）へ伸ばした線分４８との角度θ）によって、目の形状を推定する。従って、複数の目のアニメ調パーツの中から、推定された目の幅、目の高さ、目の傾きに最も近いアニメ調パーツが、目の類似アニメ調パーツ５２となる。

また、眉や目の場合は、左右２つの基本顔部品から構成されているため、左右別々に形状を推定すると、左右で異なる形状になってしまう場合がある。しかし、顔全体のバランスを考えたとき、左右が同じ形状（顔中心線に対して線対称な形状）である方が顔全体のバランスを崩さないため、眉や目の場合は、例えば左目の位置情報を顔中心線に対して線対称に移動させた位置情報に変換し、即ち、左右反転させて右目の位置に変換し、２つの右目の特徴点の位置情報の平均から、目の特徴点の位置情報を算出し、目の形状を推定する。眉の場合も目と同様である。尚、鼻、口、顔の輪郭については、抽出した特徴点の位置情報から形状を推定する。また、目の場合、瞳の色情報を、特徴点抽出部１５１において抽出し、抽出した色情報に基づいて、類似アニメ調パーツ５２の瞳の色情報を変更しても良い。

顔部品テクスチャ生成部１５の肌色設定部１５３は、特徴点抽出部１５１によって抽出された所定画素の色情報に基づいて、対象物の肌色に類似した色情報（以下、類似肌色情報と呼ぶ）を算出し、算出した類似肌色情報をキャラクタ７０の頭部テクスチャ５０の色情報として設定する。例えば、特徴点抽出部１５１によって抽出された所定画素の色情報が、鼻の頂点４２の画素の色情報、両方の目の下の位置４３ａ及び４４ａの画素の色情報であるとき、３つの画素の色情報の平均を算出し、算出した色情報を類似肌色情報とする。

顔部品テクスチャ生成部１５のパーツ配置設定部１５４は、特徴点抽出部１５１によって抽出された所定の顔部品の特徴点の位置情報に基づいて、顔部品テクスチャ５１内における、パーツ選択部１５２によって選択された類似アニメ調パーツ５２の配置を設定し、設定した類似アニメ調パーツ５２の位置に基づいて顔部品テクスチャ５１を生成する。

図１３は、顔部品テクスチャ５１内における類似アニメ調パーツ５２の配置を説明するための頭部形状モデル６０の正面から見た平面図である。図１３に示すように、頭部形状モデル６０に貼り付けられる顔部品テクスチャ５１ａ、５１ｂ、５１ｃ、５１ｄのそれぞれにおいて、点６１は鼻の類似アニメ調パーツ５２の配置を、点６２は口の類似アニメ調パーツ５２の配置を、点６３は右目の類似アニメ調パーツ５２の配置を、点６４は左目の類似アニメ調パーツ５２の配置を、点６５は右眉の類似アニメ調パーツ５２の配置を、点６６は左眉の類似アニメ調パーツ５２の配置を示す。

顔部品テクスチャ５１ａ、５１ｂ、５１ｃ、５１ｄが貼り付けられる頭部形状モデル６０の位置は、頭部形状モデル６０に対応して予め設定されている。
鼻の顔部品テクスチャ５１ｂ及び口の顔部品テクスチャ５１ａに対して、鼻の類似アニメ調パーツ５２の配置である点６１及び口の類似アニメ調パーツ５２の配置である点６２は、予め設定されている。また、目の顔部品テクスチャ５１ｃに対する目の類似アニメ調パーツ５２の配置については、目の類似アニメ調パーツ５２の上下方向（高さ方向：Ｙ方向）の位置が予め設定され、左右方向（幅方向：Ｘ方向）の位置は両目の特徴点から算出する。即ち、予め設定されている両目の類似アニメ調パーツ５２の上下方向（高さ方向：Ｙ方向）の位置で、両目の類似アニメ調パーツ５２の間隔６７を両目の特徴点から算出し、両目の類似アニメ調パーツ５２が、顔中心線６９に対して線対象となるように配置する。また、眉の顔部品テクスチャ５１ｄに対する眉の類似アニメ調パーツ５２の配置については、眉の類似アニメ調パーツ５２の左右方向の位置が予め設定され、上下方向の位置を両眉の特徴点から算出する。両眉の類似アニメ調パーツ５２の上下方向の位置は、両眉の特徴点から算出し、両眉の類似アニメ調パーツ５２が、顔中心線６９に対して線対象となるように配置する。

顔部品テクスチャ５１に対する類似アニメ調パーツ５２の配置は、上述した配置処理に限定されることはなく、顔部品の特徴点に基づいて全ての顔部品テクスチャ５１内の類似アニメ調パーツ５２の配置を算出するようにしても良い。また、顔部品テクスチャ５１に対する類似アニメ調パーツ５２の配置を予め固定するようにしても良い。

また、顔部品テクスチャ５１に対する類似アニメ調パーツ５２の配置に基づいて顔部品テクスチャ５１内に類似アニメ調パーツ５２を配置した顔部品テクスチャ５１に限らず、顔部品に対応する複数のモデル顔部品テクスチャの中から、顔部品テクスチャ５１に対する類似アニメ調パーツ５２の配置に類似した配置のアニメ調パーツを持つ類似モデル顔部品テクスチャを選択し、選択した類似モデル顔部品テクスチャを顔部品テクスチャ５１として設定するようにしても良い。

以上のようにして、顔部品テクスチャ生成部１５は、被写体の顔撮像画像情報に基づいたアニメ調の似顔絵の顔部品に対応した顔部品テクスチャ５１を生成する。そして、生成した顔部品テクスチャ５１をキャラクタ情報記憶部１８に格納する。

形状モデル生成部１６は、所定の顔部品の特徴点に基づいて、頭部形状モデル６０を生成する機能である。また、生成した頭部形状モデル６０には、頭部テクスチャ５０の余白部５４を貼り付ける。

キャラクタ情報記憶部１８に予め格納してある複数の輪郭形状モデルの中から、顔部品テクスチャ生成部１５によって取得された顔輪郭の特徴点に基づいて、顔輪郭に類似した頭部輪郭の部品形状モデル（以下、基礎頭部形状モデルと呼ぶ）７１を選択し、キャラクタ情報記憶部１８に予め格納してある所定の顔部品に対応する複数の部品形状モデルの中から、該顔部品に類似した該顔部品の部品形状モデル（以下、類似部品形状モデルと呼ぶ）７２を選択する。そして、選択された基礎頭部形状モデル７１と類似部品形状モデル７２を組み合わせて（合体させて）頭部形状モデル６０を生成する。ここで、基礎頭部形状モデル７１は、所定の顔部品に対応する部品形状モデル部分が無い状態の頭部形状モデルである。即ち、例えば、所定の顔部品が鼻である場合は、鼻の無い状態の頭部形状モデルが基礎頭部形状モデル７１である。

図１４は、鼻の無い状態の基礎頭部形状モデル７１と類似部品形状モデル７２を説明するための図で、（ａ）は、顔正面の平面図を示し、（ｂ）は、顔側面の平面図を示す。また、図１５は、頭部形状モデル６０を説明するための図で、（ａ）は、顔正面の平面図を示し、（ｂ）は、顔側面の平面図を示す。尚、図１４（ａ）、（ｂ）及び図１５（ａ）、（ｂ）では、類似部品形状モデル７２として鼻の類似部品形状モデル７２を例に挙げて説明する。図１４（ａ）、（ｂ）に示す、顔輪郭の特徴点に基づいて選択された基礎頭部形状モデル７１と、鼻の特徴点に基づいて選択された鼻の類似部品形状モデル７２と組み合わせて、図１５（ａ）、（ｂ）に示す頭部形状モデル６０を生成する。

上述の頭部形状モデル６０の生成は、基礎頭部形状モデル７１と類似部品形状モデル７２と組み合わせて頭部形状モデル６０を生成する場合を説明したが、キャラクタ情報記憶部１８に予め格納してある複数の基準形状モデルの中から、顔部品テクスチャ生成部１５によって取得された顔輪郭の特徴点に基づいて、顔輪郭に類似した頭部形状モデル６０を選択するようにしても良い。また、頭部形状モデル６０は、予め設定された１つをキャラクタ情報記憶部１８に格納しておき、キャラクタ情報記憶部１８から頭部形状モデル６０を取り出すようにしても良い。

テクスチャ貼付部１７は、形状モデル生成部１６によって生成された頭部形状モデル６０に、顔部品テクスチャ生成部１５によって生成された顔部品テクスチャ５１を貼り付けるとともに、頭部テクスチャ５０の余白部５４の色情報及び顔部品テクスチャ５１の肌の部分の色情報を顔部品テクスチャ生成部１５の肌色設定部１５３によって設定された類似肌色情報に置き換える。

尚、髪型、服装、アクセサリ等に対応する部品は、ゲーム等のシチュエーション、性別等に応じて、予めキャラクタ情報記憶部１８にそれぞれ複数格納されており、ユーザに所望の部品を選択させたり、既定の部品を設定したりすることもできる。また、上述のテクスチャ貼付部１７では、頭部テクスチャ５０の余白部５４の色情報及び顔部品テクスチャ５１の肌の部分の色情報を類似肌色情報に置き換える処理を行っているが、頭部テクスチャ５０の余白部５４の色情報の類似肌色情報に置き換える処理を形状モデル生成部１６で行い、顔部品テクスチャ５１の肌の部分の色情報を類似肌色情報に置き換える処理を顔部品テクスチャ生成部１５のパーツ配置設定部１５４で行っても良い。

次に、本発明の一実施形態にかかるキャラクタ生成システム１０の起動タイミングについて説明する。本発明の一実施形態にかかるキャラクタ生成システム１０の起動タイミングは、例えば、ロールプレイングゲーム（ＲＰＧ）の場合、該ＲＰＧを開始する前に、キャラクタ生成システム１０を起動させて、該ＲＰＧを開始する前に該ＲＰＧの仮想空間内に登場する全てのキャラクタ７０の顔を生成するだけでなく、該ＲＰＧのゲーム進行途中において、新しく仮想空間内にキャラクタ７０が登場したときに、キャラクタ生成システム１０を動作させて、登場したキャラクタ７０の顔を生成することもできる。即ち、ユーザの所望の起動タイミングで、キャラクタ生成システム１０を起動させることができる。

上述した本発明の一実施形態にかかるキャラクタ生成システム１０により、携帯ゲーム装置２０を用いて実現される仮想空間内のキャラクタ７０の顔を、デジタルカメラ等で撮影された対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として容易に生成することができる。また、ゲーム等の仮想空間内に登場するキャラクタ７０の顔を、ユーザの顔撮像画像情報に基づいたアニメ調の似顔絵として生成することにより、該キャラクタ７０に対してユーザがより感情移入をすることができ、より娯楽性の高いゲームソフトウェアを構築することができる。また、写真画像を使用したキャラクタ７０のデータ量に比較してアニメ調の似顔絵を使用したキャラクタ７０のデータ量は少なく、ゲーム等の処理速度を早くしたり、より多くのキャラクタ７０を登場させたりするゲームソフトウェアを構築することができる。

次に、本発明の一実施形態にかかるキャラクタ生成方法について説明する。
図１６は、本発明の一実施形態にかかるキャラクタ生成方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。

キャラクタの生成は、まず、アニメ調の似顔絵を生成するための対象となる顔撮像画像情報を取得する（ステップ１０１：Ｓ１０１）。ここでは、所定の顔部品の配置を示す顔配置ガイド情報と被写体とを表示部２４に表示させながら、顔配置ガイド情報の顔部品の配置に合うように被写体の顔を撮像部２５によって撮像し、撮像した被写体の撮像画像情報を取得する。更に、撮像した被写体の撮像画像情報から顔撮像画像情報を取得する。尚、ここでは、撮像部２５によって撮像された被写体の撮像画像情報を用いているが、入力部２６から入力した撮像画像情報であっても良い。また、一枚の撮像画像情報を部分的に修正したり、複数の撮像画像を合成したりして、一枚の顔撮像画像情報にした画像情報であっても良い。

次に、顔撮像画像情報から、所定の顔部品の特徴点及び所定画素の色情報を抽出する（ステップ１０２：Ｓ１０２）。即ち、ステップ１０１の工程によって取得された顔撮像画像情報から、所定の顔部品の特徴点の位置情報を取得するとともに、所定画素の色情報を取得する。ここで、例えば、所定の顔部品は、眉、目、鼻、口、顔の輪郭である。また、例えば、所定画素の色情報は、図６（ａ）、（ｂ）における鼻の頂点４２の画素の色情報、両方の目の下の位置４３ａ及び４４ａの画素の色情報である。

次に、ステップ１０２の工程で抽出された所定の顔部品の特徴点の位置情報に基づいて、頭部形状モデル６０を生成する（ステップ１０３：Ｓ１０３）。上述の形状モデル生成部１６で説明したように、例えば、キャラクタ情報記憶部１８に予め格納してある複数の輪郭形状モデルの中から、顔部品テクスチャ生成部１５によって取得された顔輪郭の特徴点に基づいて、顔輪郭に類似した基礎頭部形状モデル７１を選択し、キャラクタ情報記憶部１８に予め格納してある所定の顔部品に対応する複数の部品形状モデルの中から、該顔部品に類似した類似部品形状モデル７２を選択し、選択された基礎頭部形状モデル７１と類似部品形状モデル７２を組み合わせて頭部形状モデル６０を生成する。

また、キャラクタ情報記憶部１８に予め格納してある複数の基準形状モデルの中から、顔部品テクスチャ生成部１５によって取得された顔輪郭の特徴点に基づいて、顔輪郭に類似した頭部形状モデル６０を選択するようにしても良い。また、頭部形状モデル６０は予め設定された１つをキャラクタ情報記憶部１８に格納しておき、キャラクタ情報記憶部１８から頭部形状モデル６０を取り出すようにしても良い。

次に、ステップ１０２の工程で抽出された所定の顔部品の特徴点の位置情報に基づいて、該顔部品の形状を推定する（ステップ１０４：Ｓ１０４）。図６（ａ）、（ｂ）を用いて上述したように、例えば目の場合、目の幅（点４３ｂと点４３ｆとの間隔）、目の高さ（点４３ａと点４３ｄとの間隔）、たれ目や釣り目等を示す目の傾き（点４３ｇと点４３ｂとを結ぶ線分と、点４３ｇから水平に左右方向へ伸ばした線分との角度θ）によって、目の形状を推定する。

次に、ステップ１０４の工程で推定した顔部品の形状に類似した類似アニメ調パーツ５２を、予め用意された複数のアニメ調パーツの中から選択する（ステップ１０５：Ｓ１０５）。次に、ステップ１０２の工程で抽出された所定画素の色情報に基づいて、対象物の肌色に類似した類似肌色情報を算出する（ステップ１０６：Ｓ１０６）。図６（ａ）、（ｂ）を用いて上述したように、例えば、抽出された所定画素の色情報が、鼻の頂点４２の画素の色情報、両方の目の下の位置４３ａ及び４４ａの画素の色情報であるとき、３つの画素の色情報の平均を算出し、算出した色情報を類似肌色情報とする。

次に、ステップ１０２の工程で抽出された所定の顔部品の特徴点の位置情報に基づいて、部品テクスチャ５１内における類似アニメ調パーツ５２の配置を設定し、設定した類似アニメ調パーツ５２の位置に基づいて顔部品テクスチャ５１を生成する（ステップ１０７：Ｓ１０７）。図１３を用いて上述したように、鼻の顔部品テクスチャ５１ｂ及び口の顔部品テクスチャ５１ａに対して、鼻の類似アニメ調パーツ５２の配置である点６１及び口の類似アニメ調パーツ５２の配置である点６２は、予め設定されている。また、目の顔部品テクスチャ５１ｃに対する目の類似アニメ調パーツ５２の配置については、目の類似アニメ調パーツ５２の上下方向の位置が予め設定され、左右方向の位置は両目の特徴点から算出する。両目の類似アニメ調パーツ５２の間隔６７を両目の特徴点から算出し、両目の類似アニメ調パーツ５２が、顔中心線６９に対して線対象となるように配置する。また、眉の顔部品テクスチャ５１ｄに対する眉の類似アニメ調パーツ５２の配置については、眉の類似アニメ調パーツ５２の左右方向の位置が予め設定され、上下方向の位置を両眉の特徴点から算出する。両眉の類似アニメ調パーツ５２の上下方向の位置は、両眉の特徴点から算出し、両眉の類似アニメ調パーツ５２が、顔中心線６９に対して線対象となるように配置する。また、上述した配置処理に限定されることはなく、顔部品の特徴点に基づいて全ての顔部品テクスチャ５１内の類似アニメ調パーツ５２の配置を算出するようにしても良い。また、顔部品テクスチャ５１に対する類似アニメ調パーツ５２の配置を予め固定するようにしても良い。

また、顔部品テクスチャ５１に対する類似アニメ調パーツ５２の配置に基づいて、顔部品テクスチャ５１内に類似アニメ調パーツ５２を配置した顔部品テクスチャ５１に限らず、顔部品に対応する複数のモデル顔部品テクスチャの中から、顔部品テクスチャ５１に対する類似アニメ調パーツ５２の配置に類似した配置のアニメ調パーツを持つ類似モデル顔部品テクスチャを選択し、選択した類似モデル顔部品テクスチャを顔部品テクスチャ５１として設定するようにしても良い。

最後に、ステップ１０３の工程によって生成された頭部形状モデル６０に、ステップ１０７の工程によって生成された顔部品テクスチャ５１を貼り付けるとともに、頭部テクスチャ５０の余白部５４の色情報及び顔部品テクスチャ５１の肌の部分の色情報をステップ１０６の工程によって設定された類似肌色情報に置き換える（ステップ１０８：Ｓ１０８）。これにより、アニメ調の似顔絵を貼り付けたキャラクタ７０が生成される。尚、ステップ１０８の工程において、頭部テクスチャ５０の余白部５４の色情報及び顔部品テクスチャ５１の肌の部分の色情報を類似肌色情報に置き換える処理を行っているが、頭部テクスチャ５０の余白部５４の色情報を類似肌色情報に置き換える処理をステップ１０３の工程で行い、顔部品テクスチャ５１の肌の部分の色情報を類似肌色情報に置き換える処理をステップ１０７の工程で行っても良い。

上述した本発明の一実施形態にかかるキャラクタ生成方法により、携帯ゲーム装置２０を用いて実現される仮想空間内のキャラクタ７０の顔を、デジタルカメラ等で撮影された対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として容易に生成することができる。また、ゲーム等の仮想空間内に登場するキャラクタ７０の顔を、ユーザの顔撮像画像情報に基づいたアニメ調の似顔絵として生成することにより、該キャラクタ７０に対してユーザがより感情移入をすることができ、より娯楽性の高いゲームソフトウェアを構築することができる。また、写真画像を使用したキャラクタ７０のデータ量に比較してアニメ調の似顔絵を使用したキャラクタ７０のデータ量は少なく、ゲーム等の処理速度を早くしたり、より多くのキャラクタ７０を登場させたりするゲームソフトウェアを構築することができる。

上述した本発明の一実施形態にかかるキャラクタ生成システム１０は、携帯ゲーム装置２０を使用したシステムであるが、これに限定されるものではなく、業務用ゲーム装置（アーケードゲーム機）、家庭用ゲーム機、携帯電話、スタンドアローン型のコンピュータ、ワークステーション型のコンピュータシステム、ネットワーク型のコンピュータシステム等を用いて実現される仮想空間内の存在として表される２次元又は３次元のキャラクタの生成に適用できる。

１０ ： キャラクタ生成システム
１１ ： 表示制御部
１２ ： 撮像制御部
１３ ： 入力制御部
１４ ： 撮像画像情報取得部
１５ ： 顔部品テクスチャ生成部
１６ ： 形状モデル生成部
１７ ： テクスチャ貼付部
１８ ： キャラクタ情報記憶部
１９ ： ガイド情報記憶部
５０ ： 頭部テクスチャ
５１ ： 顔部品テクスチャ
５２ ： 類似アニメ調パーツ
５４ ： 余白部
６０ ： 頭部形状モデル
７０ ： キャラクタ
７１ ： 基礎頭部形状モデル
７２ ： 類似部品形状モデル
１５１ ： 特徴点抽出部
１５２ ： パーツ選択部
１５３ ： 肌色設定部
１５４ ： パーツ配置設定部

Claims (23)

1. コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として生成するキャラクタ生成システムであって、
   前記コンピュータが、
   前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する撮像画像取得手段と、
   前記撮像画像取得手段によって取得された前記対象物の前記顔撮像画像情報から、所定の顔部品の特徴点及び所定画素の色情報を抽出し、抽出した前記所定画素の色情報に基づいて前記キャラクタの頭部テクスチャの肌色となる前記対象物の肌色に類似した類似肌色情報を設定し、更に、抽出した前記特徴点に基づいて前記対象物の前記顔部品に類似した前記顔部品に対応する類似アニメ調パーツを選択し、選択した前記類似アニメ調パーツの配置を設定することにより前記顔部品に対応した顔部品テクスチャを生成する顔部品テクスチャ生成手段と、
   所定の前記顔部品の前記特徴点に基づいて、前記頭部形状モデルを生成する形状モデル生成手段と、
   前記キャラクタの頭部形状モデルに貼り付けられる前記顔部品テクスチャ以外の前記頭部テクスチャの色情報を前記顔部品テクスチャ生成手段によって設定された前記類似肌色情報に置き換え、前記顔部品テクスチャ生成手段によって生成された前記顔部品テクスチャを、前記キャラクタの前記頭部形状モデルに貼り付けるテクスチャ貼付手段と、
   を備えていることを特徴とするキャラクタ生成システム。
2. 前記顔部品テクスチャ生成手段は、
   前記撮像画像取得手段によって取得された前記対象物の前記顔撮像画像情報から、前記所定の顔部品の前記特徴点の位置情報を取得するとともに、前記所定画素の色情報を取得する特徴点抽出手段と、
   前記特徴点抽出手段によって取得された前記特徴点の位置情報に基づいて、前記顔部品に対応して予め用意された複数のアニメ調パーツの中から前記対象物の前記顔部品の形状に類似した前記類似アニメ調パーツを選択するパーツ選択手段と、
   前記特徴点抽出手段によって取得された前記所定画素の色情報に基づいて、予め用意された複数の肌色情報の中から前記対象物の肌色に類似した前記類似肌色情報を選択する肌色設定手段と、
   前記特徴点抽出手段によって取得された前記特徴点の位置情報に基づいて、前記パーツ選択手段によって選択された前記顔部品に対応する前記類似アニメ調パーツの配置を設定し、設定した前記類似アニメ調パーツの配置に基づいて前記顔部品テクスチャを生成するパーツ配置設定手段と、
   を備えていることを特徴とする請求項１に記載のキャラクタ生成システム。
3. 前記パーツ選択手段は、
   前記顔部品が左右２つの基本顔部品から構成されるとき、左右どちらか一方の前記基本顔部品の前記特徴点の位置情報を顔中心線に対して線対称に移動させた位置情報に変換し、左右２つの前記基本顔部品の前記特徴点の位置情報の平均値から前記基本顔部品の形状を推定し、推定した前記基本顔部品の形状に対応した前記類似アニメ調パーツを前記複数のアニメ調パーツの中から選択し、
   前記顔部品が１つの前記基本顔部品から構成されるとき、前記顔部品の前記特徴点の位置情報から前記顔部品の形状を推定し、推定した前記顔部品の形状に対応した前記類似アニメ調パーツを前記複数のアニメ調パーツの中から選択することを特徴とする請求項２に記載のキャラクタ生成システム。
4. 前記パーツ配置設定手段は、
   前記頭部形状モデルに貼り付けられる位置が予め設定されている前記顔部品に対応した前記顔部品テクスチャにおいて、
   予め設定されている鼻及び口の前記顔部品テクスチャ内の位置に、鼻の前記類似アニメ調パーツ及び口の前記類似アニメ調パーツを配置し、
   予め設定されている目の前記顔部品テクスチャ内の上下方向の位置に、前記特徴点の位置情報から算出した左右の目の間隔で、顔中心線に対して左右の目の前記類似アニメ調パーツが線対象となるように配置し、
   予め設定されている眉の前記顔部品テクスチャ内の左右方向の位置に、前記特徴点の位置情報から算出した上下方向の位置で、顔中心線に対して左右の眉の前記類似アニメ調パーツが線対象となるように配置し、
   鼻、口、目、及び眉に対応した前記類似アニメ調パーツの配置に基づいて、鼻、口、目、及び眉に対応した前記顔部品テクスチャを生成することを特徴とする請求項２または３に記載のキャラクタ生成システム。
5. 前記パーツ配置設定手段は、
   前記頭部形状モデルに貼り付けられる位置が予め設定されている前記顔部品に対応した前記顔部品テクスチャにおいて、
   前記特徴点抽出手段によって取得された前記顔部品の前記特徴点の位置情報に基づいて前記顔部品に対応した前記顔部品テクスチャ内の前記類似アニメ調パーツの位置を算出し、
   算出した前記類似アニメ調パーツの位置に基づいて前記顔部品テクスチャを生成することを特徴とする請求項２または３に記載のキャラクタ生成システム。
6. 前記パーツ配置設定手段は、
   前記顔部品に対応する複数のモデル顔部品テクスチャの中から、前記顔部品に対応する前記類似アニメ調パーツの配置に類似した配置のアニメ調パーツを持つ類似モデル顔部品テクスチャを選択し、選択した類似モデル顔部品テクスチャを前記顔部品テクスチャとして設定することを特徴とする請求項４または５に記載のキャラクタ生成システム。
7. 前記形状モデル生成手段が、
   顔輪郭に対応して予め用意された複数の輪郭形状モデルの中から、顔輪郭の前記特徴点に基づいて、顔輪郭に類似した基礎頭部形状モデルを選択し、
   顔輪郭以外の所定の顔部品に対応して予め用意された複数の部品形状モデルの中から、前記所定の顔部品の前記特徴点に基づいて、前記所定の顔部品に類似した類似部品形状モデルを選択し、
   選択した前記基礎頭部形状モデルと前記類似部品形状モデルとを組み合わせて前記頭部形状モデルを生成することを特徴とする請求項１乃至６のいずれか１項に記載のキャラクタ生成システム。
8. 前記形状モデル生成手段が、
   顔輪郭に対応して予め用意された複数の基準形状モデルの中から、顔輪郭の前記特徴点に基づいて、顔輪郭に類似した前記頭部形状モデルを選択することを特徴とする請求項１乃至６のいずれか１項に記載のキャラクタ生成システム。
9. 前記コンピュータが、
   前記表示部を制御して、所定の前記顔部品の配置を示す顔配置ガイド情報と前記対象物を前記表示部に表示させる表示制御手段と、
   撮像部を制御して、前記対象物を撮像させ、前記対象物の前記撮像画像情報を前記所定の記憶部に格納させる撮像制御手段と、
   を更に備え、
   前記撮像画像取得手段は、前記表示制御手段と前記撮像制御手段とを連動させて、前記顔配置ガイド情報と前記対象物とを前記表示部に表示させながら、前記顔配置ガイド情報に基づいて前記対象物を撮像させた前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する請求項１乃至８のいずれか１項に記載のキャラクタ生成システム。
10. 前記コンピュータが、
    入力部を制御して、前記対象物の前記撮像画像情報を含む各種情報を入力情報として入力させ、前記対象物の前記撮像画像情報を前記所定の記憶部に格納させる入力制御手段を更に備え、
    前記撮像画像取得手段は、前記表示制御手段と前記入力制御手段とを連動させて、前記顔配置ガイド情報と入力された前記対象物の前記撮像画像情報とを前記表示部に表示させながら、前記顔配置ガイド情報に基づいた前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する請求項１乃至９のいずれか１項に記載のキャラクタ生成システム。
11. 前記顔配置ガイド情報によって配置が示される所定の前記顔部品は、顔輪郭を少なくとも含んでいることを特徴とする請求項９または１０に記載のキャラクタ生成システム。
12. コンピュータを使用して、仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として生成するキャラクタ生成方法であって、
    前記コンピュータが、
    （ａ）前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の撮像画像情報から取得する工程と、
    （ｂ）前記工程（ａ）によって取得された前記対象物の前記顔撮像画像情報から、前記所定の顔部品の前記特徴点の位置情報を取得するとともに、前記所定画素の色情報を取得する工程と、
    （ｃ）前記工程（ａ）によって取得された所定の前記顔部品の前記特徴点に基づいて、前記キャラクタの頭部形状モデルを生成する工程と、
    （ｄ）前記工程（ａ）によって取得された前記所定画素の色情報に基づいて前記キャラクタの頭部テクスチャの肌色となる前記対象物の肌色に類似した類似肌色情報を設定し、更に、前記工程（ａ）によって取得された前記特徴点に基づいて前記対象物の前記顔部品に類似した前記顔部品に対応する類似アニメ調パーツを選択し、選択した前記類似アニメ調パーツの配置を設定することにより前記顔部品に対応した顔部品テクスチャを生成する工程と、
    （ｅ）前記工程（ｄ）によって生成された前記顔部品テクスチャを、前記キャラクタの前記頭部形状モデルに貼り付けるとともに、前記工程（ｃ）によって生成された前記頭部形状モデルに貼り付けられた前記頭部テクスチャの肌の部分の色情報を前記工程（ｄ）によって設定された前記類似肌色情報に置き換える工程と、
    を備えていることを特徴とするキャラクタ生成方法。
13. 前記工程（ｄ）は、
    （ｄ１）前記工程（ｂ）によって取得された前記特徴点の位置情報に基づいて、前記顔部品に対応して予め用意された複数のアニメ調パーツの中から前記対象物の前記顔部品の形状に類似した前記類似アニメ調パーツを選択する工程と、
    （ｄ２）前記工程（ｂ）によって取得された前記所定画素の色情報に基づいて、予め用意された複数の肌色情報の中から前記対象物の肌色に類似した前記類似肌色情報を選択する工程と、
    （ｄ３）前記工程（ｂ）によって取得された前記特徴点の位置情報に基づいて、前記工程（ｄ１）によって選択された前記顔部品に対応する前記類似アニメ調パーツの配置を設定し、設定した前記類似アニメ調パーツの配置に基づいて前記顔部品テクスチャを生成する工程と、
    を備えていることを特徴とする請求項１２に記載のキャラクタ生成方法。
14. 前記工程（ｄ１）は、
    前記顔部品が左右２つの基本顔部品から構成されるとき、左右どちらか一方の前記基本顔部品の前記特徴点の位置情報を顔中心線に対して線対称に移動させた位置情報に変換し、左右２つの前記基本顔部品の前記特徴点の位置情報の平均値から前記基本顔部品の形状を推定し、推定した前記基本顔部品の形状に対応した前記類似アニメ調パーツを前記複数のアニメ調パーツの中から選択し、
    前記顔部品が１つの前記基本顔部品から構成されるとき、前記顔部品の前記特徴点の位置情報から前記顔部品の形状を推定し、推定した前記顔部品の形状に対応した前記類似アニメ調パーツを前記複数のアニメ調パーツの中から選択することを特徴とする請求項１３に記載のキャラクタ生成方法。
15. 前記工程（ｄ３）は、
    前記頭部形状モデルに貼り付けられる位置が予め設定されている前記顔部品に対応した前記顔部品テクスチャにおいて、
    予め設定されている鼻及び口の前記顔部品テクスチャ内の位置に、鼻の前記類似アニメ調パーツ及び口の前記類似アニメ調パーツを配置し、
    予め設定されている目の前記顔部品テクスチャ内の上下方向の位置に、前記特徴点の位置情報から算出した左右の目の間隔で、顔中心線に対して左右の目の前記類似アニメ調パーツが線対象となるように配置し、
    予め設定されている眉の前記顔部品テクスチャ内の左右方向の位置に、前記特徴点の位置情報から算出した上下方向の位置で、顔中心線に対して左右の眉の前記類似アニメ調パーツが線対象となるように配置し、
    鼻、口、目、及び眉に対応した前記類似アニメ調パーツの配置に基づいて、鼻、口、目、及び眉に対応した前記顔部品テクスチャを生成することを特徴とする請求項１３または１４に記載のキャラクタ生成方法。
16. 前記工程（ｄ３）は、
    前記頭部形状モデルに貼り付けられる位置が予め設定されている前記顔部品に対応した前記顔部品テクスチャにおいて、
    前記工程（ｂ）によって取得された前記特徴点の位置情報に基づいて前記顔部品に対応した前記顔部品テクスチャ内の前記類似アニメ調パーツの位置を算出し、
    算出した前記類似アニメ調パーツの位置に基づいて前記顔部品テクスチャを生成することを特徴とする請求項１３または１４に記載のキャラクタ生成方法。
17. 前記工程（ｄ３）は、
    前記顔部品に対応する複数のモデル顔部品テクスチャの中から、前記顔部品に対応する前記類似アニメ調パーツの配置に類似した配置のアニメ調パーツを持つ類似モデル顔部品テクスチャを選択し、選択した類似モデル顔部品テクスチャを前記顔部品テクスチャとして設定することを特徴とすることを特徴とする請求項１５または１６に記載のキャラクタ生成方法。
18. 前記工程（ｃ）は、
    顔輪郭に対応して予め用意された複数の輪郭形状モデルの中から、顔輪郭の前記特徴点に基づいて、顔輪郭に類似した基礎頭部形状モデルを選択し、
    顔輪郭以外の所定の顔部品に対応して予め用意された複数の部品形状モデルの中から、前記所定の顔部品の前記特徴点に基づいて、前記所定の顔部品に類似した類似部品形状モデルを選択し、
    選択した前記基礎頭部形状モデルと前記類似部品形状モデルとを組み合わせて前記頭部形状モデルを生成することを特徴とすることを特徴とする請求項１２乃至１７のいずれか１項に記載のキャラクタ生成方法。
19. 前記工程（ｃ）は、
    顔輪郭に対応して予め用意された複数の基準形状モデルの中から、顔輪郭の前記特徴点に基づいて、顔輪郭に類似した前記頭部形状モデルを選択することを特徴とする請求項１２乃至１７のいずれか１項に記載のキャラクタ生成方法。
20. 前記コンピュータが、
    （ｆ）所定の前記顔部品の配置を示す顔配置ガイド情報と前記対象物とを前記表示部に表示させながら、前記顔配置ガイド情報に基づいて前記対象物を撮像し、前記対象物の前記撮像画像情報を前記所定の記憶部に格納する工程を、前記（ａ）の前に更に備え、
    前記工程（ａ）は、前記顔配置ガイド情報に基づいて、前記対象物の前記顔撮像画像情報を、前記所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する請求項１２乃至１９のいずれか１項に記載のキャラクタ生成方法。
21. 前記コンピュータが、
    （ｇ）前記対象物の前記撮像画像情報を入力して、前記所定の記憶部に格納する工程を、前記（ａ）の前に更に備え、
    前記工程（ａ）は、所定の前記顔部品の配置を示す前記顔配置ガイド情報と、前記工程（ｇ）によって入力された前記対象物の前記撮像画像情報とを前記表示部に表示させながら、前記顔配置ガイド情報に基づいて、前記対象物の前記顔撮像画像情報を、所定の記憶部に格納されている前記対象物の前記撮像画像情報から取得することを特徴する請求項１２乃至２０のいずれか１項に記載のキャラクタ生成方法。
22. 前記顔配置ガイド情報によって配置が示される所定の前記顔部品は、顔輪郭を少なくとも含んでいることを特徴とする請求項２０または２１に記載のキャラクタ生成方法。
23. 仮想空間内の存在として表示部に表示されるキャラクタの顔を、対象物の顔撮像画像情報に基づいたアニメ調の似顔絵として生成するための処理を、コンピュータに実行させるプログラムであって、
    請求項１乃至１１のいずれか１項に記載のキャラクタ生成システムの各手段を実現させる処理を前記コンピュータに実行させることを特徴とするプログラム。

Images