JP6506443B1 - 画像生成装置及び画像生成プログラム - Google Patents

Abstract

【課題】安価な構成によって、いわゆる自撮り画像に対してユーザの姿勢を仮想キャラクタの姿勢として反映させたコンピュータグラフィックス（ＣＧ）の画像を生成する。
【解決手段】ユーザの姿勢を反映した仮想キャラクタの胴体部及び頭部の姿勢を求める姿勢算出手段と、仮想キャラクタの手の位置の入力をユーザから受け付ける手位置取得手段と、手の位置と仮想キャラクタの胴体部との位置関係から仮想キャラクタの腕の動きを求める腕部算出手段と、仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きを組み合わせた二次元画像を生成する仮想キャラクタ画像生成手段と、を備える画像生成装置とする。
【選択図】図３

Description

本発明は、ユーザの姿勢や顔のパーツ状態を仮想キャラクタに置き換えた画像を生成する画像生成装置及び画像生成プロクラムに関する。

ユーザの動きを仮想のキャラクタのＣＧとして反映させる技術が存在している。例えば、ユーザにモーションキャプチャ装置を付け、ユーザの動きを検出することにより仮想のキャラクタの動きとして再現する技術が開示されている（特許文献１）。

一方、近年、ユーチューブ（登録商標）等において人の動きを含む動画が数多く提供されている。このとき、匿名性を高める等のために、人の動きを仮想キャラクタに置き換えた動画を投稿する者も増えてきている（非特許文献１）

特開２０１６−１２６５００号公報

http://youtuberhyouron.com/virtualyoutuber/

しかしながら、従来のモーションキャプチャ装置を用いた仮想キャラクタの画像を生成するには、高額なシステムを準備する必要がある。したがって、一般人が手軽に動画を配信するような場合に用いることが困難である。

本発明の１つの態様は、撮像装置とユーザとの相対距離に応じて前記撮像装置によって撮像されるユーザの姿勢を反映した仮想キャラクタの胴体部及び頭部の姿勢を求める姿勢算出手段と、前記仮想キャラクタの手の位置の入力をユーザから受け付ける手位置取得手段と、前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きを求める腕部算出手段と、前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きを組み合わせた二次元画像を生成する仮想キャラクタ画像生成手段と、を備えることを特徴とする画像生成装置である。

本発明の別の態様は、コンピュータを、撮像装置とユーザとの相対距離に応じて前記撮像装置によって撮像されるユーザの姿勢を反映した仮想キャラクタの胴体部及び頭部の姿勢を求める姿勢算出手段と、前記仮想キャラクタの手の位置の入力をユーザから受け付ける手位置取得手段と、前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きを求める腕部算出手段と、前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きを組み合わせた二次元画像を生成する仮想キャラクタ画像生成手段と、して機能させることを特徴とする画像生成プログラムである。

ここで、前記腕部算出手段は、前記二次元画像上の手の位置に基づいて画像の奥行き方向における前記手の位置と前記仮想キャラクタの胴体部との位置関係を定めて前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることが好適である。

また、前記腕部算出手段は、前記手の位置が前記仮想キャラクタの胴体部の幅方向沿って基準位置から離れるほど前記仮想キャラクタの胴体部の厚み方向に沿って後方に位置しているものとして前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることが好適である。

また、前記腕部算出手段は、予め定められた軌道に沿って前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることが好適である。

また、前記腕部算出手段は、前記手の位置が前記仮想キャラクタの胴体部の厚み方向に沿って胴体部の中心位置より前方に位置しているものとして前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることが好適である。

また、前記手位置取得手段は、前記二次元画像を表示させるタッチパネルを含み、前記タッチパネル上に表示された位置指定用アイコンをドラッグして動かすことによって前記手の位置の入力をユーザから受け付けることが好適である。

また、前記タッチパネル上に表示させた手形状選択メニューから手の形状の選択をユーザから受け付ける手形状選択手段を更に備え、前記仮想キャラクタ画像生成手段は、前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きと前記手の形状を組み合わせた前記二次元画像を生成することが好適である。

また、前記腕部算出手段は、前記手の形状に応じて予め定められた軌道に沿って前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることが好適である。

また、前記タッチパネル上に表示させたアイテム選択メニューからアイテムの選択をユーザから受け付けるアイテム選択手段を更に備え、前記仮想キャラクタ画像生成手段は、前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きと前記アイテムを持った手を組み合わせた前記二次元画像を生成することが好適である。

また、前記タッチパネル上に表示させた顔表情選択メニューから顔の表情の選択をユーザから受け付ける顔表情取得手段を更に備え、前記仮想キャラクタ画像生成手段は、前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きと前記顔の表情を組み合わせた前記二次元画像を生成することが好適である。

また、前記姿勢算出手段は、前記撮像装置と前記ユーザとの相対距離及び前記撮像装置の撮像方向の角度に応じて前記撮像装置によって撮像される前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める第１姿勢算出手段と、前記撮像装置の撮像方向の角度によらず、前記撮像装置と前記ユーザとの相対距離に応じて前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める第２姿勢算出手段と、を切り替えて処理することが好適である。

本発明によれば、安価な構成によって、いわゆる自撮り画像に対してユーザの姿勢を仮想キャラクタの姿勢として反映させたコンピュータグラフィックス（ＣＧ）の画像を生成することができる。

本発明の実施の形態における画像生成装置を含むシステム構成を示す図である。 本発明の実施の形態における画像生成装置の構成を示す図である。 本発明の実施の形態における画像生成方法を示すフローチャートである。 本発明の実施の形態における画像生成方法を説明する図である。 本発明の実施の形態において生成された画像の例を示す図である。 本発明の実施の形態において仮想キャラクタの手を動かした際に生成された画像の例を示す図である。 本発明の実施の形態において仮想キャラクタの顔の表情を選択する処理を説明するための図である。 本発明の実施の形態における顔表情データベースの例を示す図である。 本発明の実施の形態において仮想キャラクタの顔の表情を変更した画像の例を示す図である。 本発明の実施の形態において仮想キャラクタの右手の形状を選択する処理を説明するための図である。 本発明の実施の形態における手形状画像データベースの例を示す図である。 本発明の実施の形態において仮想キャラクタの左手の形状を選択する処理を説明するための図である。 本発明の実施の形態において仮想キャラクタの手の形状を変更した画像の例を示す図である。 本発明の実施の形態における腕の状態を算出する処理を説明するための図である。 本発明の実施の形態における手の軌道の例を示す図である。 本発明の実施の形態における手の軌道の例を示す図である。

本発明の実施の形態における画像生成装置１００は、図１に示すように、インターネット１０２を介してサーバ１０４にアクセス可能なシステムに含まれる。画像生成装置１００において生成された画像は、インターネット１０２を介してサーバ１０４にアップロードすることができる。なお、本実施の形態において画像とは、複数の画面の画像を組み合わせて構成される動画も含むものとする。

画像生成装置１００は、図２に示すように、処理部１０、記憶部１２、入力部１４、出力部１６、撮像部１８、ジャイロセンサ２０及び通信部２２を含んで構成される。画像生成装置１００は、例えば、スマートフォン、携帯電話、タブレット端末等とすることができる。

処理部１０は、ＣＰＵ等を含んで構成され、画像生成装置１００における処理を統合的に行う。処理部１０は、記憶部１２に記憶されている画像生成プログラムを実行することにより、本実施の形態における画像生成処理を行う。記憶部１２は、画像生成装置１００における画像生成処理において用いられる画像生成プログラムや撮像部１８で撮像された画像等の画像生成装置１００で用いられる情報を記憶する。記憶部１２は、例えば、半導体メモリ、ハードディスク等で構成することができる。入力部１４は、画像生成装置１００に対して情報を入力するための手段を含む。入力部１４は、例えば、タッチパネル、キーボード（ソフトキーボードを含む）、マイク等を含んで構成される。出力部１６は、画像生成装置１００で生成された画像や処理された情報を表示させる手段を含む。出力部１６は、例えば、ディスプレイ（タッチパネルを含む）とすることができる。撮像部１８は、画像を撮像するためのカメラやレンズ等の光学システムを含んで構成される。撮像部１８で撮像された画像データ（静止画、動画）は記憶部１２に記憶されて画像生成処理の対象となる。ジャイロセンサ２０は、角速度センサであり、画像生成装置１００を動かしたときの角速度を検出して処理部１０へ出力する。処理部１０は、ジャイロセンサ２０からの角速度を時間積分処理することにより、基準角度（角度の初期設定値）から画像生成装置１００の角度がどれだけ変化したかを示す角度変化を検出することができる。通信部２２は、画像生成装置１００以外の外部装置との情報交換を行うためのインターフェースを含んで構成される。通信部２２は、例えば、インターネット１０２に接続されることによって、画像生成装置１００で生成された画像を外部のサーバ１０４にアップロードすることを可能にする。

なお、本実施の形態では、撮像部１８を画像生成装置１００と一体に構成した例について示したが、これに限定されるものではなく、撮像部１８を別体とした構成としてもよい。この場合、通信部２２を介して撮像部１８から画像生成装置１００が画像を取得できるようにすればよい。

以下、図３のフローチャートを参照して、本実施の形態における画像生成処理について説明する。本実施の形態における画像生成処理では、画像生成装置１００を用いてユーザが自分自身を撮像部１８よって撮像する所謂自撮りされた画像におけるユーザの姿勢や顔のパーツ状態を仮想キャラクタの姿勢や顔のパーツ状態に置き換えたコンピュータグラフィックス（ＣＧ）の画像を生成する処理を行う。

ステップＳ１０では、初期設定処理が行われる。本実施の形態では、画像生成処理において基準となる初期画像が取得される。本ステップを実行することにより、画像生成装置１００は初期設定手段として機能する。初期画像は、ユーザが自撮りを行うことで取得される。すなわち、画像生成装置１００を左右のいずれかの手で持ち、その腕を伸ばした状態において正面からの自撮り撮影を行う。なお、自撮り撮影では、ユーザは自然に撮像部１８に顔を向けた画像が得られる可能性が高くなる。また、ジャイロセンサ２０を用いて、初期画像を取得したタイミングにおける画像生成装置１００による撮像方向の角度を基準角度として設定する。さらに、画像生成装置１００をユーザがどちらの手で持っているかの情報を取得する。例えば、画像生成装置１００の出力部１６であるタッチパネルを触る位置に基づいてユーザがどちらの手で画像生成装置１００を持って撮像しているのかを検出することができる。また、画像生成装置１００の入力部１４を用いて、ユーザ自身にどちらの手で画像生成装置１００を持っているのか入力させるようにしてもよい。

ステップＳ１２では、初期状態における画像生成装置１００からユーザまでの相対距離が算出される。本ステップを実行することにより、画像生成装置１００は基準距離設定手段として機能する。処理部１０は、ステップＳ１０において取得された初期画像に基づいて、画像生成装置１００とユーザまでの相対距離を基準距離として求める。例えば、初期画像からユーザの頭部領域を抽出し、頭部領域の大きさを基準として画像生成装置１００とユーザまでの相対距離を基準距離として算出することができる。すなわち、人間の頭部の大きさは個々人で大きく変わらないものとし、初期画像を撮像したときの撮像部１８の設定（撮像倍率等）を考慮して初期画像における頭部領域の大きさから画像生成装置１００とユーザとの相対距離を求めることができる。これにより、初期画像における相対距離、すなわち、ユーザが腕を伸ばした状態におけるユーザから画像生成装置１００までの距離を半径Ｒとして、Ｒ≧ｒとなる領域についてユーザの腕の方向と伸縮に応じたユーザの顔の拡大・縮小を仮想キャラクタに反映させることが可能となり、より動きがリアルな仮想キャラクタの画像を提供することができる。

なお、初期状態における画像生成装置１００からユーザまでの相対距離の求め方は、上記方法に限定されるものでなく、他の方法によって当該相対距離を求めるようにしてもよい。

ステップＳ１４では、現在のユーザの画像が取得される。本ステップを実行することにより、画像生成装置１００は自撮画像取得手段として機能する。ユーザは、画像生成装置１００を用いて自撮り撮影を行って現在の自撮画像を取得する。このとき、ユーザは手や腕を動かして、ユーザと画像生成装置１００との相対距離や角度を初期状態から変更しながら撮像を行ってもよい。

ステップＳ１６では、現在のユーザから画像生成装置１００までの相対距離及び画像生成装置１００の撮像方向の角度が算出される。本ステップを実行することにより、画像生成装置１００は距離算出手段及び角度算出手段として機能する。処理部１０は、ステップＳ１４において取得された自撮画像に基づいて画像生成装置１００からユーザまでの相対距離を求める。相対距離の算出方法は、ステップＳ１２と同様とすることができる。また、処理部１０は、ジャイロセンサ２０を用いて、ステップＳ１４において自撮画像を取得したタイミングにおける画像生成装置１００の撮像方向の角度を求める。具体的には、ジャイロセンサ２０で検出される角速度の時間積分を繰り返すことによって、ステップＳ１０において設定された基準角度からの角度変化を算出して画像生成装置１００の現在の角度を求める。

ステップＳ１８では、相対距離及び角度からユーザの身体の姿勢を反映した仮想キャラクタの身体の姿勢が算出される。本ステップを実行することにより、画像生成装置１００は姿勢算出手段として機能する。処理部１０は、ステップＳ１６にて算出された現在のユーザから画像生成装置１００までの相対距離及び画像生成装置１００の角度に基づいて、画像生成装置１００に正対するユーザの身体の姿勢を反映した３次元の人体モデルである仮想キャラクタの身体の姿勢を決定する。なお、自撮画像の場合、ユーザの上半身のみが撮像されることが多いので画像上のユーザの身体の姿勢は頭部及び胴体部のみを考慮すればよい場合が多い点で有利である。

具体的には、以下のように画像生成装置１００に正対する仮想キャラクタの頭部及び胴体部の姿勢を決定する。まず、ステップＳ１０で得られた画像生成装置１００の基準角度からステップＳ１６で得られた現在の画像生成装置１００の角度への変化を求める。また、ステップＳ１２において得られたユーザと画像生成装置１００との基準距離とステップＳ１６で得られた現在のユーザと画像生成装置１００の相対距離の変化を求める。そして、図４に示すように、角度及び相対距離の変化に応じて、ステップＳ１０におけるユーザＡの頭部及び胴体部と画像生成装置１００との位置関係から現在のユーザＡの頭部及び胴体部の姿勢と画像生成装置１００との位置関係の変化を推測し、当該ユーザＡの頭部及び胴体部の姿勢に合わせた３次元の仮想キャラクタのモデルの頭部及び胴体部の姿勢と画像生成装置１００との位置関係を定める。

ユーザの姿勢においてユーザの頭部の状態は、インバースキネマティックス処理で求めることが好適である。自撮り撮影では、ユーザが自然に撮像部１８に顔を向けた画像が得られるので、ユーザの顔の特定のパーツ（例えば、鼻）の位置検出が容易である。現在のユーザ位置が決まれば、対応する仮想キャラクタの基準位置が決まり、予めサイズが決められている仮想キャラクタの首の位置がわかる。ここでは、ユーザの顔の特定のパーツの位置とユーザの位置から、仮想キャラクタの顔の特定のパーツの位置（前者位置）と、首の位置（後者位置）が決まったときに、首に対して頭がどの位置にあるのかを計算する。これにより、ユーザが画像生成装置１００に正対する向き（首を基準とした頭部の向き）を把握することができる。なお、ユーザの顔の特定のパーツの位置検出は、後述する顔認識の技術を用いることができる。

また、基準角度（正面視の姿勢）から現在の画像生成装置１００の角度への変化の度合いに応じて、仮想キャラクタの胴体の姿勢を決定する。この場合、求められる角度変化に応じた姿勢の胴体ポーズを予め複数用意しておくのが好適である。例えば、ユーザが右手に画像生成装置１００を持つ場合の胴体ポーズとして予め４ポーズを用意する場合は、求められた角度変化が９０度未満のときは胴体を正面視のポーズを選択し、正面右もしくは正面左に９０度のときは胴体を正面視の姿勢から現在の画像生成装置１００に向くようねじった状態のポーズをそれぞれ選択し、正面右に９０度超えるときは胴体をさらにねじって正面視から振り返ったような状態のポーズを選択する。角度変化に応じて最適なポーズを使い分けながら合成することで仮想キャラクタのポーズをシームレスに状態変化させることができる。

なお、本実施の形態では、相対距離及び角度の両方からユーザの身体の姿勢を反映した仮想キャラクタの身体の姿勢を算出する処理としたが、角度を考慮せずに相対距離のみに基づいて仮想キャラクタの身体の姿勢を算出する処理としてもよい。例えば、ユーザと画像生成装置１００との相対距離と３次元の仮想キャラクタのモデルの頭部及び胴体部の大きさと傾きとの関係を予め定めておき、実際のユーザと画像生成装置１００との相対距離に応じた３次元の仮想キャラクタのモデルの頭部及び胴体部の大きさと傾きを決定するようにしてもよい。

なお、撮像部１８の状態やユーザが設定可能な設定モードに応じてユーザの姿勢の検出の方法を変更するようにしてもよい。例えば、撮像部１８がスマートフォンに搭載されている場合、スマートフォンの状態（縦にした状態や横にした状態）に応じてユーザの姿勢の検出の方法を変更するようにしてもよい。この場合、スマートフォンに搭載されるジャイロセンサ２０を用いて、ディスプレイを縦にした状態なのか、横にした状態なのかを判定する。

ユーザの姿勢の検出方法は、例えば、ジャイロセンサ２０の検出値と撮像部１８で撮像されたユーザの状態の両方に応じてユーザの姿勢を検出する自撮りモードと撮像部１８で撮像されたユーザの状態に応じてユーザの姿勢を検出する固定モードとを切り替えるようにすることができる。このとき、自撮りモードは、撮像部１８を自由に動かせるように手持ちした状態において設定されるモードとすることが好適である。また、自撮りモードは、撮像部１８を縦の状態で使用したときに設定されるモードとしてもよい。自撮りモードでは、ジャイロセンサ２０の検出値と撮像部１８で撮像されたユーザの状態の両方に応じてユーザの姿勢を検出するが、撮像部１８によって撮像されたユーザの顔の大きさから撮像部１８とユーザとの相対距離を求めるようにすればよい。また、固定モードは、撮像部１８を自由に動かせないように置いた状態において設定されるモードとすることが好適である。また、固定モードは、撮像部１８を横の状態で使用したときに設定されるモードとしてもよい。固定モードでは、撮像部１８で撮像されたユーザの状態に応じてユーザの姿勢を検出するが、撮像部１８によって撮像されたユーザの顔の大きさから撮像部１８とユーザとの相対距離を求め、ユーザの鼻の位置や傾きからユーザの姿勢を決定するようにすればよい。ユーザの鼻の位置や傾きは、例えば、出力部１６であるタッチパネル上に設けられるユーザを撮像したポートレート領域の中心部に固定表示される十字オブジェクト（基準十字オブジェクト）を基準に鼻の位置がどの程度ずれたかで判定することができる。このとき、基準十字オブジェクトとは別に、ユーザの撮像から推定される頭部の中心点で交差する十字オブジェクトもポートレート領域に表示されることが好ましい。頭部の中心点の算出は、後述する顔認識の処理において求められる。なお、基準十字オブジェクトは、首を真っ直ぐにしたユーザの顔が撮像部１８に正対した状態における鼻の位置や頭部の中心点で十字が交差するよう予め設定されてもよい。また、ユーザの姿勢は、基準十字オブジェクトと十字オブジェクトとの差分に基づいて判定してもよい。なお、ポートレート領域は、配信元の画像生成装置１００の出力部１６にのみ表示される。特に自撮りモードでは、ユーザに十字オブジェクトが基準十字オブジェクト（すなわちポートレート領域の中心部）に重なるように意識させることで、ユーザの姿勢を正確に仮想キャラクタの姿勢に反映させる再現性を向上させることができる。

ステップＳ２０では、ステップＳ１８で求められた仮想キャラクタの姿勢と、仮想キャラクタの顔の向き及びパーツ状態（口や目の表情等）とを合成して仮想キャラクタの二次元画像を生成する処理が行われる。本ステップを実行することにより、画像生成装置１００は仮想キャラクタ画像生成手段として機能する。処理部１０は、ステップＳ１８及びステップＳ２６において算出された３次元の仮想キャラクタの状態（姿勢及びパーツ状態）及び画像生成装置１００との位置関係とに基づいて、画像生成装置１００に搭載されている撮像部１８によって当該仮想キャラクタを撮像した場合の二次元画像を算出する。二次元画像は、撮像部１８の撮像条件（ズーム率等）も考慮して、撮像部１８の視座標系において３次元の仮想キャラクタを構成する各ポリゴンをそれぞれ二次元画像上に投影する投影変換を行う。

なお、後述するステップＳ２４における顔表情取得処理において仮想キャラクタの表情が取得されていない場合、予め定められたデフォルトの顔の表情の画像を仮想キャラクタの顔領域に適用して仮想キャラクタの表情の画像を合成する。顔表情取得処理において仮想キャラクタの表情が取得されている場合、取得された顔の表情の画像を仮想キャラクタの顔領域に適用して仮想キャラクタの表情の画像を合成する。

また、ステップＳ２６における手位置取得処理、ステップＳ３０における腕部算出処理及びステップＳ２８における手形状選択処理が行われていない場合、図５に示すように、手及び腕を下ろしたデフォルトの仮想キャラクタ２０２の姿勢の二次元画像２００を生成する。一方、ステップＳ２６における手位置取得処理、ステップＳ３０における腕部算出処理及びステップＳ２８における手形状選択処理が行われていた場合、図６に示すように、これらの処理で得られた手の位置、腕の状態及び手の形状を有する仮想キャラクタ２０２の二次元画像２００を生成する。

また、３次元の仮想キャラクタを正確に表現するための隠面・陰影処理も同時に行うことが好適である。さらに、自撮画像は、左右が反転するので、生成された仮想キャラクタの画像の左右を反転させる処理を施してもよい。例えば、生成された仮想キャラクタの画像の左右を反転させるようにレンダリング処理を施せばよい。

ステップＳ２２では、仮想キャラクタの画像を表示する処理が行われる。本ステップを実行することにより、画像生成装置１００は仮想キャラクタ表示手段として機能する。処理部１０は、ステップＳ１８において生成された仮想キャラクタの二次元画像を出力部１６において表示させる。

このとき、図５及び図６に示すように、画像配信しているユーザが使用する画像生成装置１００の画像上に右手アイコン２０４Ｒ、左手アイコン２０４Ｌ、顔アイコン２０６及びアイテムアイコン２０８を同時に表示させる。右手アイコン２０４Ｒは、ユーザから仮想キャラクタの右手（画像上では仮想キャラクタの左手だが、左右反転して撮像されているユーザの右手に対応するので以下は仮想キャラクタの右手として説明する）の位置の指定を受け付けるためのアイコンである。右手アイコン２０４Ｒは、初期状態では図５に示すように二次元画像２００の画面右下付近に表示させることが好適である。また、右手アイコン２０４Ｒは、仮想キャラクタの右手の位置が指摘されたときには図６に示すように右手の画像の位置に重ねて表示させることが好適である。左手アイコン２０４Ｌは、ユーザから仮想キャラクタの左手（画像上では仮想キャラクタの右手だが、左右反転して撮像されているユーザの左手に対応するので以下は仮想キャラクタの左手として説明する）の位置の指定を受け付けるためのアイコンである。左手アイコン２０４Ｌは、初期状態では図５に示すように二次元画像２００の画面左下付近に表示させることが好適である。また、左手アイコン２０４Ｌは、仮想キャラクタの左手の位置が指摘されたときには図６に示すように左手の画像の位置に重ねて表示させることが好適である。顔アイコン２０６は、ユーザから仮想キャラクタの顔の表情の指定を受け付けるためのアイコンである。顔アイコン２０６は、図５及び図６に示すように、仮想キャラクタの顔の画像付近に表示させることが好適である。アイテムアイコン２０８は、ユーザから仮想キャラクタに持たせるアイコンの指定を受け付けるためのアイコンである。アイテムアイコン２０８は、図５及び図６に示すように二次元画像２００の画面中央下付近に表示させることが好適である。

また、処理部１０は、撮像部１８を介してステップＳ１８において生成された仮想キャラクタの二次元画像を配信先となる通信端末（コンピュータ、スマートフォン、タブレット等）に送信させてもよい。これによって、当該通信端末において仮想キャラクタの二次元画像を表示させることができる。

なお、右手アイコン２０４Ｒ、左手アイコン２０４Ｌ、顔アイコン２０６、アイテムアイコン２０８、後述する右手形状選択肢アイコン２０４ａ〜２０４ｅ、左手形状選択肢アイコン２０４ｆ〜２０４ｊ、顔選択肢アイコン２０６ａ〜２０６ｆは、配信先の通信端末の画像上には表示させないようにすることが好適である。

ステップＳ２４では、仮想キャラクタの顔の表情を取得する顔表情取得処理が行われる。本ステップを実行することにより、画像生成装置１００は顔表情取得手段として機能する。顔の表情は、顔アイコン２０６を用いてユーザに選択させることができる。処理部１０は、ユーザによるタッチパネル上の顔アイコン２０６の選択（例えばタップ）を検出すると、図７に示すように、仮想キャラクタの顔の表情の候補を示す顔選択肢アイコン２０６ａ〜２０６ｆを顔表情選択メニューとしてタッチパネル上に表示させる。顔選択肢アイコン２０６ａ〜２０６ｆは、例えば、図７に示すように顔アイコン２０６の周りに表示させてフリック入力により選択できるようにすることが好適である。このとき、顔の表情を選択するモードになっていることをはっきりと示すために、顔選択肢アイコン２０６ａ〜２０６ｆ以外の領域をグレーアウトさせるようにしてもよい。顔選択肢アイコン２０６ａ〜２０６ｆは、これに限定されるものではないが、例えば笑顔、照れ顔、寝顔、怒顔、泣き顔、驚きの顔等の表情の選択肢を示すものとする。本実施の形態では、６つの顔選択肢アイコン２０６ａ〜２０６ｆとしたが、選択肢の数はこれに限定されるものではない。ユーザは、顔選択肢アイコン２０６ａ〜２０６ｆのうちいずれかを選択することができる。仮想キャラクタの種類毎に顔選択肢アイコン２０６ａ〜２０６ｆの各々の選択肢と顔の表情の画像データとを関連付けて顔表情データベースとして記憶させておき、処理部１０は、ユーザによって選択された顔選択肢アイコン２０６ａ〜２０６ｆのいずれかの選択肢に関連付けられた顔の表情の画像データを仮想キャラクタの顔画像データとして読み出す。図８は、顔表情データベースの登録例を示す。

ユーザの選択に応じて読み出された顔画像データは、ステップＳ２０の仮想キャラクタの二次元画像の生成処理に利用される。例えば、図７における顔選択肢アイコン２０６ａで示される笑顔がユーザによって選択された場合、図９に示すように、仮想キャラクタの笑顔の顔画像データが読み出され、画面上の仮想キャラクタの顔の表情を笑顔に変更する処理が行われる。

なお、顔選択肢アイコン２０６ａ〜２０６ｆの選択処理に代えて顔認識の処理としてもよい。処理部１０は、ステップＳ１４において得られた現在の自撮画像から顔領域を抽出する。顔領域の抽出処理では、人間の顔が撮影された領域の特徴量に基づいて顔領域を抽出することができる。次に、処理部１０は、抽出された顔領域からユーザの各パーツ（眉、目、鼻、口、輪郭など）の状態（動き）を求める。顔領域の抽出及びパーツ状態の抽出には、一般的な顔認識の技術を用いることができる。また、処理部１０は、抽出された顔領域の各パーツの位置からユーザの顔の姿勢（向き）を求める姿勢算出手段としても機能する。顔の姿勢（向き）の算出には、一般的な顔向き推定技術を用いることができる。その後、処理部１０は、得られたユーザの顔の姿勢と顔のパーツ状態に対応して、ステップＳ１８で求められた仮想キャラクタの頭の位置における当該仮想キャラクタの顔の向き及び顔のパーツ状態を定める。なお、ユーザの顔の各パーツ状態の再現は、顔全体に限らず一部のパーツでもよい。また、再現されるユーザのパーツ状態は、画像からの抽出に限らない。例えば、瞬きなど目の動きは画像に基づいて抽出され、口の動きは入力部１４（マイク）へのユーザの音声入力に基づいて抽出されてもよい。ユーザの音声と仮想キャラクタの唇の動きの連動には、一般的なリップシンク技術を用いることが好適である。

ステップＳ２６では、仮想キャラクタの手の位置を取得する手位置取得処理が行われる。本ステップを実行することにより、画像生成装置１００は手位置取得手段として機能する。仮想キャラクタの手の位置は、位置指定用アイコンである右手アイコン２０４Ｒ及び左手アイコン２０４Ｌを用いて取得することができる。ユーザは、タッチパネル上に表示された右手アイコン２０４Ｒを指等で操作（例えばドラッグ操作）することで画面上における右手の位置を入力することができる。処理部１０は、右手アイコン２０４Ｒのタッチパネル上の位置情報を取得し、当該位置情報を仮想キャラクタの右手位置とする。同様に、ユーザは、タッチパネル上に表示された左手アイコン２０４Ｌを指等で操作することで画面上における左手の位置を入力することができる。処理部１０は、左手アイコン２０４Ｌのタッチパネル上の位置情報を取得し、当該位置情報を仮想キャラクタの左手位置とする。

ステップＳ２８では、仮想キャラクタの手の形を取得する手形状選択処理が行われる。本ステップを実行することにより、画像生成装置１００は手形状選択手段として機能する。手の形は、右手アイコン２０４Ｒ及び左手アイコン２０４Ｌを用いてユーザに選択させることができる。処理部１０は、ユーザによるタッチパネル上の右手アイコン２０４Ｒの選択（例えば長押し）を検出すると、図１０に示すように、仮想キャラクタの右手の形の候補を示す右手形状選択肢アイコン２０４ａ〜２０４ｅを手形状選択メニューとしてタッチパネル上に表示させる。右手形状選択肢アイコン２０４ａ〜２０４ｅは、例えば、図１０に示すようにタッチパネル上の右手アイコン２０４Ｒの周りに表示させてフリック入力により手の形状を選択できるようにすることが好適である。このとき、手の形状を選択するモードになっていることをはっきりと示すために、右手形状選択肢アイコン２０４ａ〜２０４ｅ以外の領域をグレーアウトさせるようにしてもよい。本実施の形態では、５つの右手形状選択肢アイコン２０４ａ〜２０４ｅとしたが、選択肢の数はこれに限定されるものではない。ユーザは、右手形状選択肢アイコン２０４ａ〜２０４ｅのうちいずれかを選択することができる。右手形状選択肢アイコン２０４ａ〜２０４ｅの各々の選択肢と手の形状の画像データとを関連付けて手形状画像データベースとして記憶させておき、処理部１０は、ユーザによって選択された右手形状選択肢アイコン２０４ａ〜２０４ｅのいずれかの選択肢に関連付けられた手の形状の画像データを仮想キャラクタの右手画像データとして読み出す。図１１は、手形状画像データベースの登録例を示す。当該右手画像データは、ステップＳ２０の仮想キャラクタの二次元画像の生成処理に利用される。

仮想キャラクタの左手の形状についても同様に処理することができる。処理部１０は、ユーザによるタッチパネル上の左手アイコン２０４Ｌの選択（例えば長押し）を検出すると、図１２に示すように、仮想キャラクタの左手の形の候補を示す左手形状選択肢アイコン２０４ｆ〜２０４ｊを手形状選択メニューとしてタッチパネル上に表示させる。左手形状選択肢アイコン２０４ｆ〜２０４ｊは、例えば、図１２に示すようにタッチパネル上の右手アイコン２０４Ｒの周りに表示させてフリック入力により手の形状を選択できるようにすることが好適である。このとき、手の形状を選択するモードになっていることをはっきりと示すために、左手形状選択肢アイコン２０４ｆ〜２０４ｊ以外の領域をグレーアウトさせるようにしてもよい。本実施の形態では、５つの左手形状選択肢アイコン２０４ｆ〜２０４ｊとしたが、選択肢の数はこれに限定されるものではない。ユーザは、左手形状選択肢アイコン２０４ｆ〜２０４ｊのうちいずれかを選択することができる。左手形状選択肢アイコン２０４ｆ〜２０４ｊの各々の選択肢と手の形状の画像データとを関連付けて手形状画像データベースとして記憶させておき、処理部１０は、ユーザによって選択された左手形状選択肢アイコン２０４ｆ〜２０４ｊのいずれかの選択肢に関連付けられた手の形状の画像データを仮想キャラクタの左手画像データとして読み出す。当該左手画像データは、ステップＳ２０の仮想キャラクタの二次元画像の生成処理に利用される。

図１３は、右手と左手の形状をデフォルトの形状から変更した場合においてステップＳ２０で仮想キャラクタ２０２の二次元画像を更新した例を示す。

ステップＳ３０では、仮想キャラクタの腕部の状態を算出する腕部算出処理が行われる。本ステップを実行することにより、画像生成装置１００は腕部算出手段として機能する。仮想キャラクタの姿勢において手の位置と腕の状態はインバースキネマティックス処理で求めることが好適である。ステップＳ２６において取得された仮想キャラクタの手の位置（前者位置）とステップＳ１８において求められた仮想キャラクタの肩の位置（後者位置が決まれば仮想キャラクタのサイズはあらかじめ決められているので、後者位置に対応する基準位置からの固定距離で決まる）が決まったときに、肘をどのように動かせばよいかを計算する。

このとき、ステップＳ２６の手位置取得処理では画像の奥行き方向（図１４のＺ方向）における仮想キャラクタ２０２の手の位置は定められていない。そこで、二次元画面上（図１４のＸ−Ｙ平面上）の手の位置に応じて画像の奥行き方向（Ｚ方向）における手の位置と仮想キャラクタ２０２の胴体部との相対的な位置関係を定め、仮想キャラクタの腕の動きを求める。例えば、手の位置が仮想キャラクタ２０２の胴体部の幅方向沿って基準位置（例えば、胴体部の中心位置）から離れるほど仮想キャラクタ２０２の胴体部の厚み方向（Ｚ方向）に沿って後方に位置しているものとして手の位置と仮想キャラクタ２０２の胴体部との位置関係から仮想キャラクタ２０２の腕の動きをインバースキネマティックス処理により求めることが好適である。具体的には、例えば、図１４（ｂ）に示すように、予め定められた軌道Ａに沿って手の位置と仮想キャラクタ２０２の胴体部との位置関係から仮想キャラクタ２０２の腕の動きをインバースキネマティックス処理により求めることが好ましい。また、例えば、手の位置が仮想キャラクタ２０２の胴体部の高さ方向沿って基準位置（例えば、胴体部の肩の高さ）から離れるほど仮想キャラクタ２０２の胴体部の厚み方向に沿って後方に位置しているものとして手の位置と仮想キャラクタ２０２の胴体部との位置関係から仮想キャラクタ２０２の腕の動きをインバースキネマティックス処理により求めることが好適である。具体的には、例えば、図１４（ｃ）に示すように、予め定められた軌道Ａに沿って手の位置と仮想キャラクタ２０２の胴体部との位置関係から仮想キャラクタ２０２の腕の動きをインバースキネマティックス処理により求めることが好ましい。このとき、手の位置が仮想キャラクタ２０２の胴体部の厚み方向に沿って中心位置ＣよりオフセットＤだけ前方に位置しているものとして手の位置と仮想キャラクタ２０２の胴体部との位置関係を定めることが好適である。

なお、軌道Ａの形状は、図１４の例に限定されるものではなく、様々な形状としてもよい。例えば、右手と左手において異なる軌道Ａを設定してもよい。具体的には、図１５に示すように、右手の位置に対する軌道Ａ１と左手の位置に対する軌道Ａ２として異なる軌道を設定してもよい。

また、ステップＳ２８において取得された手の形状に応じて軌道の形状を変更するようにしてもよい。図１６に示すように、手の形状毎に異なる軌道を記憶部１２に予め記憶させておき、ステップＳ２８において取得された手の形状に対応する軌道を用いて画像の奥行き方向（Ｚ方向）に沿った手の位置を定めるようにしてもよい。例えば、５本の指を広げた手の形状が選択された場合、手の位置を左右に動かしたときにバイバイしているようにみえるように奥行き方向（Ｚ方向）の変化がより小さい軌道とする。また、例えば、親指を立てた手の形状が選択された場合、手の位置を左右の動かしたときに手を突き出しているようにみえるように奥行き方向（Ｚ方向）の変化がより大きい軌道とする。

処理部１０は、手オブジェクトの端部（指先側端部）が定められた手の位置となるように手オブジェクトを移動させる。その後、手オブジェクトの反対側の端部（手首側端部）の位置に向くように前腕オブジェクトを回転させる。次に、前腕オブジェクトの端部（手首側端部）が手オブジェクトの端部（手首側端部）の位置となるように前腕オブジェクトを移動させる。さらに、前腕オブジェクトの反対側の端部（肘側端部）の位置に向くように上腕オブジェクトを回転させる。次に、上腕オブジェクトの端部（肘側端部）が前腕オブジェクトの端部（肘側端部）の位置となるように上腕オブジェクトを移動させる。このような操作を繰り返すことによって、仮想キャラクタの腕の状態を定めることができる。

また、手の形状及び手の軌道の位置に応じて、手オブジェクトの指先側端部と手首側端部の位置関係が変動するようにしてもよい。具体的な手段としては、例えば、手の形状と手の位置との組み合わせに対して手オブジェクトの指先側端部と手首側端部の位置関係を予めデータベースとして登録しておき、処理部１０は、現在の手の形状及び手の軌道の位置に応じて手オブジェクトの指先側端部と手首側端部の位置関係を読み出すようにすればよい。

例えば、５本の指を広げた手の形状（パー）の場合、手の位置が仮想キャラクタの正面中央に近い位置から離れた位置にある場合には手を振る状態であるとして指先側端部と手首側端部が奥行方向において同じ位置にあるものとして処理をする。一方、手の位置が仮想キャラクタの正面中心に近い位置（手が伸ばされた状態）にある場合には握手をしている状態であるとして指先側端部の後方に手首側端部が奥行方向において異なる位置にあるものとして処理をする。

なお、右手と左手とが交差した状態となった場合、いずれか一方を優先的に表示させるように処理することが好適である。

また、仮想キャラクタの顔の表情、手の形状及び腕の状態は、顔アイコン２０６、右手アイコン２０４Ｒ及び左手アイコン２０４Ｌに対する操作が所定時間以上にわたって行われなかった場合にデフォルトに戻すようにしてもよい。このとき、操作されなかった顔アイコン２０６、右手アイコン２０４Ｒ及び左手アイコン２０４Ｌの画像上の位置もデフォルト位置に戻すようにすればよい。

なお、複数の自撮画像や動画を生成する場合、ステップＳ１４からステップＳ３０までの処理を繰り返せばよい。

なお、配信元や配信先の端末のディスプレイの向きに応じて、図５等に示すように二次元画像２００において破線で区切られた中央部分の画像のみを提供するようにしてもよい。

以上のように、本実施の形態によれば、画像生成装置１００によるいわゆる自撮り画像に対してユーザの姿勢を仮想キャラクタの姿勢として反映させたコンピュータグラフィックス（ＣＧ）の画像を生成することができる。したがって、モーションキャプチャ装置のような高価なシステムを必要とすることなく、撮影された人物を仮想キャラクタに置き換えた画像を生成することができる。

また、仮想キャラクタにアイテムを持たせた状態の二次元画像を生成できるようにしてもよい。仮想キャラクタに持たせるアイテムは、アイテムアイコン２０８を用いてユーザに選択させることができる。処理部１０は、ユーザによるタッチパネル上のアイテムアイコン２０８の選択（例えばタップ）を検出すると、現在においてユーザが所有しているアプリケーション上のアイテムのリストをタッチパネルの画面上にアイテム選択メニューとして表示させる。ユーザが所有しているアイテムは、アイテム毎にアイテムの画像データと関連付けてアイテムデータベースとして予め記憶させておけばよい。アイテムは、通信によって接続されている他のユーザから提供されたアイテムやサーバから提供されるアイテム等とすることができる。ユーザがタッチパネルを用いてアイテムリストから持たせるアイテムを選択すると、処理部１０は、選択されたアイテムに関連付けられているアイテムの画像データを読み出して仮想キャラクタの手の位置に重ね合わせた二次元画像を生成する。これらの処理により、画像生成装置１００は、アイテム選択手段として機能する。

このように仮想キャラクタにアイテムを持たせた二次元画像を表示又は配信することで、他のユーザやサーバから提供されたアイテムを画像閲覧している他のユーザに見せることができる。

なお、本実施の形態では、現在の自撮画像をリアルタイムで処理する態様について説明したが、これに限定されるものではなく、過去に撮影していた自撮画像を処理するようにしてもよい。この場合、初期設定で取得する各種データや初期画像も自撮画像と共に記憶部１２に記憶させておき、記憶部１２からこれらの情報を読み出しつつ画像生成処理を行えばよい。

１０ 処理部、１２ 記憶部、１４ 入力部、１６ 出力部、１８ 撮像部、２０ ジャイロセンサ、２２ 通信部、１００ 画像生成装置、１０２ インターネット、１０４ サーバ、２００ 二次元画像、２０２ 仮想キャラクタ、２０４Ｌ 左手アイコン、２０４Ｒ 右手アイコン、２０４ａ−２０４ｅ 右手形状選択肢アイコン、２０４ｆ−２０４ｊ 左手形状選択肢アイコン、２０６ 顔アイコン、２０６ａ−２０６ｆ 顔選択肢アイコン、２０８ アイテムアイコン。

Claims (10)

1. 撮像装置とユーザとの相対距離に応じて前記撮像装置によって撮像されるユーザの姿勢を反映した仮想キャラクタの胴体部及び頭部の姿勢を求める姿勢算出手段と、
   前記仮想キャラクタの手の位置の入力をユーザから受け付ける手位置取得手段と、
   前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きを求める腕部算出手段と、
   前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きを組み合わせた二次元画像を生成する仮想キャラクタ画像生成手段と、
   を備え、
   前記腕部算出手段は、前記手の位置が前記仮想キャラクタの胴体部の幅方向沿って基準位置から離れるほど前記仮想キャラクタの胴体部の厚み方向に沿って後方に位置しているものとして前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置であって、
   前記腕部算出手段は、予め定められた手の軌道に沿って前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることを特徴とする画像生成装置。
3. 請求項１又２に記載の画像生成装置であって、
   前記腕部算出手段は、前記手の位置が前記仮想キャラクタの胴体部の厚み方向に沿って胴体部の中心位置より前方に位置しているものとして前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることを特徴とする画像生成装置。
4. 請求項１〜３のいずれか１項に記載の画像生成装置であって、
   前記手位置取得手段は、前記二次元画像を表示させるタッチパネルを含み、前記タッチパネル上に表示された位置指定用アイコンをドラッグして動かすことによって前記手の位置の入力をユーザから受け付けることを特徴とする画像生成装置。
5. 請求項４に記載の画像生成装置であって、
   前記タッチパネル上に表示させた手形状選択メニューから手の形状の選択をユーザから受け付ける手形状選択手段を更に備え、
   前記仮想キャラクタ画像生成手段は、前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きと前記手の形状を組み合わせた前記二次元画像を生成することを特徴とする画像生成装置。
6. 請求項５に記載の画像生成装置であって、
   前記腕部算出手段は、前記手の形状に応じて予め定められた手の軌道に沿って前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることを特徴とする画像生成装置。
7. 請求項４に記載の画像生成装置であって、
   前記タッチパネル上に表示させたアイテム選択メニューからアイテムの選択をユーザから受け付けるアイテム選択手段を更に備え、
   前記仮想キャラクタ画像生成手段は、前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きと前記アイテムを持った手を組み合わせた前記二次元画像を生成することを特徴とする画像生成装置。
8. 請求項１〜７のいずれか１項に記載の画像生成装置であって、
   前記タッチパネル上に表示させた顔表情選択メニューから顔の表情の選択をユーザから受け付ける顔表情取得手段を更に備え、
   前記仮想キャラクタ画像生成手段は、前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きと前記顔の表情を組み合わせた前記二次元画像を生成することを特徴とする画像生成装置。
9. 請求項１〜８のいずれか１項に記載の画像生成装置であって、
   前記姿勢算出手段は、
   前記撮像装置と前記ユーザとの相対距離及び前記撮像装置の撮像方向の角度に応じて前記撮像装置によって撮像される前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める第１姿勢算出手段と、
   前記撮像装置の撮像方向の角度によらず、前記撮像装置と前記ユーザとの相対距離に応じて前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める第２姿勢算出手段と、
   を切り替えて処理することを特徴とする画像生成装置。
10. コンピュータを、
    撮像装置とユーザとの相対距離に応じて前記撮像装置によって撮像されるユーザの姿勢を反映した仮想キャラクタの胴体部及び頭部の姿勢を求める姿勢算出手段と、
    前記仮想キャラクタの手の位置の入力をユーザから受け付ける手位置取得手段と、
    前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きを求める腕部算出手段と、
    前記仮想キャラクタの胴体部及び頭部の姿勢と前記仮想キャラクタの腕の動きを組み合わせた二次元画像を生成する仮想キャラクタ画像生成手段と、
    して機能させ、
    前記腕部算出手段は、前記手の位置が前記仮想キャラクタの胴体部の幅方向沿って基準位置から離れるほど前記仮想キャラクタの胴体部の厚み方向に沿って後方に位置しているものとして前記手の位置と前記仮想キャラクタの胴体部との位置関係から前記仮想キャラクタの腕の動きをインバースキネマティックス処理により求めることを特徴とする画像生成プログラム。
    

Images