WO2023119557A1 - アバター表示装置、アバター生成装置及びプログラム - Google Patents

Abstract

アバター表示装置（２０）は、人物の撮像データを取得する取得部（２１０）と、撮像データから人物の深度データ又は画像データを取得する第２取得部（２１１）と、深度データ又は画像データに基づいて３Ｄモデルを合成しアバターを生成する生成部（２１２）と、情報通信装置（３０）の画像表示領域（３１）に、人物の動きに追従させたアバターを表示させる表示部（２１３）と、を備える。

Description

アバター表示装置、アバター生成装置及びプログラム

　本発明はアバター表示装置、アバター生成装置及びプログラムに関する。

　従来、コンピュータグラフィックを用いて人物を表現する技術が知られている。例えば、特許文献１には、顔メッシュを使用して顔アニメーションを作成するための技術が開示されている。これにより、人物の顔の画像のリアルな顔アニメーションを作成することができるとされている。

日本国特表2009-523288号公報

　しかしながら、上述のような従来技術は、顔の表情をリアルに再現することができるが、あくまでもアニメーションであり、アバターを生成する技術ではない。画像中の自分の分身となるアバターは近年脚光を浴びており、自身を効果的に表現するアバターを生成する技術が望まれている。

　上記の課題を解決するために、本発明の一態様に係るアバター表示装置は、人物の撮像データを取得する取得部と、前記撮像データから前記人物の深度データ又は画像データを取得する第２取得部と、前記深度データ又は画像データに基づいて３Ｄモデルを合成しアバターを生成する生成部と、情報通信装置の画像表示領域に、前記人物の動きに追従させた前記アバターを表示させる表示部と、を備える。

　上記の課題を解決するために、本発明の一態様に係るアバター生成装置は、人物の撮像データを取得する取得部と、前記撮像データから前記人物の深度データ又は画像データを取得する第２取得部と、前記深度データ又は画像データに基づいて３Ｄモデルを合成しアバターを生成する生成部と、生成した前記アバターを出力する出力部と、を備える。

　本発明の各態様に係るアバター表示装置及びアバター生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記アバター表示装置が備える各部（ソフトウェア要素）として動作させることにより前記アバター表示装置をコンピュータにて実現させるアバター表示装置の制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の実施形態１に係るアバター表示システムのブロック図である。 実施形態１に係るアバター表示方法の流れを示すフローチャートである。 上半身のアバターを生成して表示させる手順の一例を示す概念図である。 顔面の点群データから、目、鼻、口に対応するデータのみを抽出した図である。 アバターを生成するにあたり、人物の顔面モデルと上半身モデルとをつなぐ処理を示す概念図である。 テクスチャデータを用いてアバターを生成する処理を示す概念図である。 実施形態１の変形例１に係る携帯端末のブロック図である。 実施形態１の変形例２に係るアバター表示システムのブロック図である。 本発明の実施形態２に係る携帯端末の構成を示すブロック図である。 実施形態２に係るアバター表示方法の流れを示すフローチャートである。 本発明の実施形態３に係るアバター表示システムの構成を示すブロック図である。 実施形態３に係るアバター表示方法の流れを示すフローチャートである。 アバターに追従させる表情を表す一例である。 動画像中の背景と人物の両方を置換する手順を表す概念図である。 撮像データから人物の輪郭を抽出した結果の一例を示す概念図である。 画像データから、人物の顔の特徴点を抽出した結果の一例を示す概念図である。 画像データから、人物の顔の目、鼻、口に対応する特徴点を抽出した結果の例を示す概念図である。 顔の前面部の３Ｄモデルと顔の前面部を除く頭部の３Ｄモデルの一例を示す概念図である。 アバター表示装置等の各部を、コンピュータを用いて構成する場合の一構成例である。

　〔実施形態１〕
　（アバター表示システム）
　以下、本発明の一実施形態について、詳細に説明する。図１は、実施形態１に係るアバター表示システム１００の構成を示すブロック図である。アバター表示システム１００は、撮像装置１０、アバター表示装置２０、及び情報通信装置３０を備えている。情報通信装置３０は、ユーザが使用する情報通信装置であり、他のユーザが使用する情報通信装置３０ａ、３０ｂ、３０ｃ、…とネットワークを介して接続している。情報通信装置同士は、Ｐ２Ｐで接続していてもよいし、図示しないサーバを介して接続していてもよい。

　本実施形態において、アバター表示システムとは、情報通信装置の画像表示領域にアバターを表示させるシステムを指し、アバター表示装置とは、情報通信装置の画像表示領域にアバターを表示させる装置を指す。アバターが表示される情報通信装置は、ユーザが使用する情報通信装置３０であってもよいし、他のユーザが使用する情報通信装置３０ａ、３０ｂ、３０ｃ、…であってもよいし、その両方であってもよい。

　撮像装置１０は、アバターを生成する人物（ユーザ）を撮像するための装置である。撮像装置１０は、静止画又は動画を取得することができ、取得した撮像データをアバター表示装置２０に送信するための通信部１１を備えている。
　一態様において、撮像装置１０は、画像（例えば、ＲＧＢ画像）を撮像するだけでなく、対象までの距離（深度）を計測可能なデプスカメラであってもよい。距離の計測方法は公知の技術を用いることができ、例えば３次元Ｌｉｄａｒ（Light Detection and Ranging）、又は例えば赤外光を用いる三角測量方式やＴＯＦ（Time Of Flight）方式等を用いることができる。また、一態様において、撮像装置１０は、２以上の撮像部を備えたステレオカメラであってもよい。撮像装置１０が取得した撮像データには、深度を示す情報が含まれていてもよく、深度を示す情報を含む撮像データについても、単に「撮像データ」と称する場合がある。

　通信部１１は、一例として、Bluetooth（登録商標）又はWi-Fi（登録商標）等の無線通信インターフェースであり、ネットワークに接続することができる。通信部１１は、他の例として、有線接続インターフェースであってもよい。撮像装置１０は、通信機能を備えたビデオカメラでもよい。あるいは、撮像装置１０は、通信機能と撮像装置を備えたパーソナルコンピュータ又は携帯通信端末等であってもよい。携帯通信端末とは、携帯電話、タブレット等である。

　アバター表示装置２０は、主制御部２１、通信部２２、及びメモリ２３を備えてよい。主制御部２１は、取得部２１０、第２取得部２１１、生成部２１２、表示部２１３、及びテクスチャ生成部２１４を備えてよい。

　第２取得部２１１は、撮像データから深度データを取得（算出）してよい。なお、後述するように、第２取得部２１１は、撮像データから画像データを取得してよい。生成部２１２は、深度データに基づいて３Ｄモデルを合成し、アバターを生成してよい。一態様において、生成部２１２は、テクスチャ生成部２１４が生成した人物のテクスチャデータを３Ｄモデルに合成して、アバターを生成してよい。アバターの生成方法の詳細については後述する。

　表示部２１３は、生成部２１２が生成したアバターを用いて、人物の動きに追従させたアバターを表示するためのアバター表示データを生成し、通信部２２を介して、情報通信装置３０に送信してよい。情報通信装置３０は、必要に応じてアバター表示データを情報通信装置３０ａ、３０ｂ、３０ｃ、…に送信してよい。これにより、表示部２１３は、情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…の全部または一部の画像表示領域３１に、人物の動きに追従させたアバターを表示させることができる。なお、表示部２１３は、アバター表示データについて、過去のアバター表示データとの差分のみを、情報通信装置３０に送信してもよい。

　一態様において、アバター表示データは、アバターの動画像であってもよい。一例として、表示部２１３は、撮像装置１０が取得した動画像の各フレーム画像中の人物を当該人物の動きに追従させたアバターに置換することにより、アバター表示データを生成してもよい。

　本実施形態でいう「置換する」とは、画像の一部が見かけ上、他の画像に置換されたように見える画像処理全般を指し、一例として、動画像中の人物のおおまかな領域を、アバターの画像に置き換える処理、又は人物の領域の画像とアバターの画像とを所定の透過率で重ね合わせる処理等を含む。

　また、他の例として、表示部２１３は、人物の動きに追従させたアバターの動画像を、他の動画像中の人物を当該人物の動きに追従させたアバターに置換する方法以外の方法で生成してもよい。すなわち、表示部２１３は、所定の静止画像または動画像に対し、人物の動きに追従させたアバターを合成することによって、人物の動きに追従させたアバターの動画像を生成してもよい。

　また、一態様において、人物の動きに追従させたアバターを表示するためのデータは、人物の動きに追従させたアバターのデータであってもよい。一例として、表示部２１３は、生成部２１２が生成したアバターを示すデータ、および、人物の動きに追従したアバターの動きを示すモーションデータを、通信部２２を介して、情報通信装置３０に送信することによって、情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…の全部または一部の画像表示領域３１に、人物の動きに追従させたアバターを表示させてもよい。

　テクスチャ生成部２１４は、撮像データに基づいて人物のテクスチャデータを生成してよい。テクスチャ生成部２１４の詳細については後述する。

　なお、アバター表示装置２０の主制御部２１は、少なくとも１つのプロセッサを備えており、このプロセッサが、メモリ２３に記憶されたアバター表示プログラムを読み込んで実行することにより、生成部２１２及び表示部２１３として機能する構成を有していてもよい。さらに、生成部２１２として機能させるプログラムと、表示部２１３として機能させるプログラムとは、別々のプログラムであってもよく、それらが別々の装置のメモリに記録されていてもよい。このような構成については後述する。

　通信部２２は、撮像装置１０から画像を受信し、アバター表示データを情報通信装置３０に送信する。通信部２２は、一例として、Bluetooth（登録商標）又はWi-Fi（登録商標）等の無線通信インターフェースであり、ネットワークに接続することができる。通信部２２は、他の例として、有線接続インターフェースであってもよい。主制御部２１は、通信部２２を介して取得した画像をメモリ２３に記録（格納）する。

　メモリ２３には、主制御部２１が実行する各種のプログラム、及びそれらのプログラムによって参照される各種のデータ等が格納されている。また、メモリ２３には、生成部２１２が生成したアバターが格納される。また、メモリ２３には、撮像装置１０が取得した静止画像及び動画像が記録される。

　情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…は、他の情報通信装置との間で情報を無線又は有線で通信可能な装置であり、一例として、パーソナルコンピュータ、携帯通信端末、通信機能を有するビデオ会議用テレビ、又は３Ｄビューア等である。３Ｄビューアは、例えば、ｘＲ（ＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）及びＭＲ（Mixed Reality））空間等を表示するヘッドセット又はゴーグル型の表示装置である。

　情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…は、画像表示領域３１と通信部３２とを備えてよい。画像表示領域３１には、画像が表示される。画像表示領域３１は、情報通信装置３０が備えるディスプレイの一部又は全部であってもよい。通信部３２は、一例として、Bluetooth（登録商標）又はWi-Fi（登録商標）等の無線通信インターフェースであり、インターネット等のネットワークに接続することができる。

　情報通信装置３０の通信部３２は、アバター表示装置２０から、アバター表示データを受信し、情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…に送信してよい。このように、各情報通信装置は、アバター表示装置２０から、直接または間接的にアバター表示データを受信してよい。そして、情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…の少なくとも一部の画像表示領域３１には、各情報通信装置が備えているアプリケーションによって、アバター表示データに基づき人物の動きに追従したアバターが表示される。

　より詳細には、例えば、各情報通信装置が備えているアプリケーションは、コミュニケーションシステムを実現するアプリケーションであり、画像表示領域３１は、ディスプレイ又はビューア上の領域であって、コミュニケーションシステムへの参加者が表示される、参加者画像表示領域であってもよい。参加者画像表示領域に表示される画像は、二次元画像であってもよく、３次元画像であってもよい。参加者画像表示領域には、アバター表示システム１００のユーザが参加者として自らのアバターを表示させることができる。なお、ユーザが使用する情報通信装置３０の参加者画像表示領域には、自らのアバターを表示させず、他のユーザが使用する情報通信装置３０ａ、３０ｂ、３０ｃ、…の参加者画像表示領域に、自らのアバターを表示させる構成であってもよい。

　コミュニケーションシステムの例としては、動画像を介したコミュニケーションシステム、仮想空間を介したコミュニケーションシステム等が挙げられる。動画像を介したコミュニケーションシステムは、人物またはそのアバターの動画像を互いに見ながらコミュニケーションを行うシステムであり、例えば、リモート会議システム、テレビ電話システム等が挙げられる。仮想空間を介したコミュニケーションシステムは、仮想空間内にアバターを表示させてコミュニケーションを行うシステムである。当該仮想空間は、ＶＲ、ＡＲ、ＭＲ技術等を用いて認識されるものであってもよく、例えば、ＶＲ空間であってもよい。仮想空間内にアバターを表示させてコミュニケーションを行うシステムの例としては、メタバース（metaverse）、ＶＲチャット等が挙げられる。

　（アバター表示方法）
　次に、実施形態１に係るアバター表示装置２０が実行するアバター表示方法Ｓ１について説明する。図２は、アバター表示方法Ｓ１の流れを示すフローチャートである。アバター表示方法Ｓ１は次のステップを含む。まずステップＳ１０において、撮像装置１０は、人物を撮像し、撮像データを生成してよい。アバター表示装置２０の取得部２１０は、通信部２２及び通信部１１を介して撮像装置１０が生成した撮像データを取得し、メモリ２３に記録してよい。

　続いて、ステップＳ１１において、第２取得部２１１は、取得部２１０が取得した撮像データから人物の深度データを取得（算出）してよい。一例として、第２取得部２１１は、人物の深度データとして、点群（３次元）データを算出してよい。撮像データがステレオカメラによって撮像された多視点画像データを含む場合、第２取得部２１１は、撮像データに含まれる多視点画像間の相関関係を分析して、深度データを算出してもよい。また、撮像データに深度を示す情報が含まれている場合（例えば、撮像データにデプス画像が含まれている場合）には、第２取得部２１１は、撮像データに含まれる深度を示す情報に基づいて、人物の深度データ（例えば、点群（３次元）データ等）を算出してよい。このとき、第２取得部２１１は、深度データを参照して背景を削除してもよい。一例として、第２取得部２１１は、深度データを参照して、最も撮像装置１０に近い物体のうち最も大きな物体である以外を削除することにより、背景を削除することができる。人物のアバターを生成するための画像を撮像する場合には、当該人物が撮像装置１０の最も近くに位置することが多いためである。

　次に、ステップＳ１２において、生成部２１２は、第２取得部２１１が算出した深度データに基づいて３Ｄモデルを合成し、アバターを生成してよい。生成部２１２は、生成したアバターをメモリ２３に記録してよい。次に、ステップＳ１３において、表示部２１３は、人物の動きに追従させたアバターを表示するためのアバター表示データを生成し、通信部２２を介して、情報通信装置３０に送信することにより、情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…の少なくとも一つの画像表示領域３１に、人物の動きに追従させたアバターを表示させてよい。

　一態様において、表示部２１３は、メモリ２３に記録されたアバターを読み出し、人物の動きに追従させることにより、人物の動きに追従したアバターを生成してよい。例えば、表示部２１３は、人物の各部位の動き（向き）に追従させてアバターの向きを変え、人物の位置に追従させてアバターを配置することにより、人物の動きに追従したアバターを生成してよい。人物の位置と向きを決定する方法については後述する。

　続いて、表示部２１３は、(i)メモリ２３に記録された撮像データの各画像フレーム中の人物を、人物の動きに追従させたアバターに置換すること、または、(ii)所定の静止画像または動画像の各フレームに、人物の動きに追従させたアバターを合成することにより、アバター表示データを生成し、通信部２２を介して、情報通信装置３０に送信してよい。

　また、他の態様において、表示部２１３は、人物の動きに追従したアバターの動きを示すモーションデータを生成し、メモリ２３から読み出したアバターのデータとともに、アバター表示データとして、通信部２２を介して、情報通信装置３０に送信してよい。例えば、表示部２１３は、人物の各部位の動き（向き）および位置に対応するアバターの各部位の動き（向き）および位置を時系列に沿って指定するモーションデータを生成してよい。

　（アバターの生成と人物の動きへの追従）
　次に、アバターの生成と人物の動きへの追従について、図面を参照して説明する。生成部２１２は、撮像装置１０が取得した人物の顔面までの深度データからその人物の頭部の３Ｄモデルを合成して人物のアバターを生成する。以下にその方法を具体的に説明する。なお、以下では、人物の頭部のアバターを生成して表示する方法について説明するが、アバターを生成して表示する部位は頭部（首よりも上の部分）だけに限られず、上半身（肩および胸部を含む部分）又は全身であってもよい。すなわち、生成部２１２は、例えば、人物の頭部のアバターを生成してもよいし、人物の上半身のアバターを生成してもよいし、人物の全身のアバターを生成してもよい。また、生成部２１２は、例えば、頭部及び腕からなるアバターのように、離れた部位から構成されるアバターを生成してもよい。

　図３は、頭部のアバターを生成する手順の一例を示す概念図である。取得部２１０は、撮像装置１０からアバター生成用の撮像データを取得する。図３の画像３３１は、撮像装置１０から取得したアバターを生成する人物の正面からの撮像データである。第２取得部２１１は、人物の深度データとして、点群（３次元）データ３３２を算出する。点群（３次元）データ３３２は、顔面の深度（立体形状）を離散した点群データで表現した深度データである。

　次に、生成部２１２は、点群データ３３２に基づいて、顔面モデルを生成し、頭部モデルに結合することで、頭部アバター３３３を生成する。頭部モデルについては後述する。生成部２１２は、点群データ３３２にテクスチャを貼り付けることにより、顔面モデルを生成してもよいし、点群データ３３２から、三角メッシュによる３Ｄ（３次元）モデルを構築して、テクスチャを貼り付けてもよい。テクスチャについては後述する。

　なお、生成部２１２は、顔面の全ての深度データを用いて顔面のモデルを生成する必要はない。生成部２１２は、顔面の深度データのうち、目に対応する深度データ、鼻に対応する深度データ、及び口に対応する深度データのうちから選択した１以上の深度データを用いてアバターを生成してもよい。目に対応する深度データとしては、目の周辺の１以上の特徴点の深度データを用いることができ、当該特徴点の数は特に限定されない。また、目の周辺の１以上の特徴点には、眉毛に対応する特徴点が含まれていてもよい。鼻に対応する深度データとしては、鼻周辺の１以上の特徴点の深度データを用いることができ、当該特徴点の数は特に限定されない。口に対応する深度データとしては、口周辺の１以上の特徴点の深度データを用いることができ、当該特徴点の数は特に限定されない。また、口周辺の１以上の特徴点には、顎に対応する特徴点が含まれていてもよい。

　図４は、顔面の点群データから、目、鼻、口の３箇所にそれぞれ対応する特徴点を抽出する画像である。図４の画像３４１は、顔面の全体の点群データを表示した画像であり、画像３４２は、このうち、目、鼻、口にそれぞれ対応する特徴点のみを抽出した画像である。目、鼻、口の配列のみで顔の位置と向きが決定でき、しかも画像３４２では、画像３４１に比べてデータ数が少なくなっていることがわかる。このように、位置と向きを認識しやすく、顔の特徴を表しやすい目、鼻、口の少なくともいずれかのデータを用いてアバターを生成することにより、人物の特徴を維持しつつ、顔面全体のデータを用いて生成したアバターよりも、アバターのデータ量を削減することができる。これにより、画像処理の高速化を図ることができる。

　目に対応する深度データ、鼻に対応する深度データ、及び口に対応する深度データのうちの１以上の深度データから顔面の３Ｄモデルを生成する方法は特に限定されないが、生成部２１２は、例えば、様々な顔の３Ｄモデルと、当該３Ｄモデルの目に対応する深度データ、鼻に対応する深度データ、及び口に対応する深度データのうちの１以上の深度データとの組を教師データとして機械学習した学習モデルを用いることによって、顔面の３Ｄモデルを生成してもよい。

　図５は、頭部アバター３３３を生成するにあたり、人物の顔面モデルと頭部モデルとをつなぐ処理を示す概念図である。画像３５２は、生成部２１２が顔面と頭部モデルにおける髪との境界部分を特定した画像である。画像３６２は、生成部２１２が顔面と頭部モデルにおける顔面の両側との境界部分を特定した画像である。生成部２１２は、画像３５２および画像３６２の楕円で囲った部分において、ブレンドシェイプ等の公知のアルゴリズムを用いて、顔面のモデルと頭部モデルとを滑らかに結合して、頭部アバター３３３を生成することができる。

　生成部２１２が生成したアバターは、例えば、３次元アバターのための専用ファイルフォーマットで生成され、メモリ２３に記録される。データ形式は、例えば、ＶＲＭ形式であってもよいが、データ形式はこれに限られない。なお、アバターを表示するプラットホーム又はアプリケーションよっては、ＶＲＭ形式で記録されたアバターを表示できない場合がある。その場合は、ＶＲＭ形式で記録されたアバターを、そのアプリケーションが処理可能なデータ形式に変換してもよい。すなわち、生成部２１２は、アバターが使用されるアプリケーションまたはシステムに適合するデータ形式でアバターを生成すればよい。

　そして、表示部２１３は、一態様において、生成部２１２が生成した頭部アバター３３３によって、撮像データ中の人物を置換することにより、背景を含むアバター表示データ３３４を生成することができる。また、他の態様において、表示部２１３は、生成部２１２が生成した頭部アバター３３３を、所定の背景画像に合成することによってアバター表示データ３３４を生成してもよい。また、他の態様において、表示部２１３は、後述するようにアバターの動きを示すモーションデータを生成して、生成部２１２が生成した頭部アバター３３３と合わせることにより、アバター表示データ３３４を生成してもよい。

　以上は、顔面のモデルと頭部のモデルを組み合わせる例を説明したが、この方法に限られない。顔面のモデルと上半身のモデルを組み合わせてもよいし、顔面のモデルと全身のモデルを組み合わせてもよいし、顔面のモデルとその他の体のモデルを組み合わせてもよい。組み合わせる頭部のモデル、上半身のモデル、全身のモデル、その他の体のモデルは、既存のモデルをそのサイズを調整して用いてもよく、人物を測定して新たに作成してメモリ２３に保存しておいてもよい。また、既存のモデルを多数用意し、ユーザが選択するようにしてもよいし、撮像装置１０が撮像したユーザの撮像画像に類似するモデルを生成部２１２が選択してもよい。

　また、生成部２１２は、人物の顔面モデルに、人物とは異なるキャラクタの頭部のモデル、上半身のモデル、全身のモデル、その他の体のモデルや、人物とは性別等が異なる頭部のモデル、上半身のモデル、全身のモデル、その他の体のモデルを組み合わせてもよい。これにより、人物の顔の特徴は残しつつ、人物とは異なるキャラクタや性別のアバターを生成することができる。

　次に、動画中の人物の頭部の向きを検出する方法について説明する。前述のように、目、鼻、口のうちの少なくともいずれかから顔面の向きを決定することができる。例えば、人の２つの目の形状と配置はおおよそ決まっているので、その形状と位置関係から顔面がどの方向に向いているかが決定できる。顔面の向きは、予め定めた特定の位置を原点とする球座標ベクトルを用いて表すことができる。表示部２１３は、撮像装置１０が撮像した人物の撮像画像に基づいて、人物の目、鼻、口の少なくともいずれかの位置を検出する。そして、表示部２１３は、検出した目、鼻、口の少なくともいずれかの位置から決定された顔面の向きを参照して、アバターをその向きに向けて画像を置換する。なお、頭部の位置は、予め定めた頭部の基準となる部位の座標として決定することができる。こうして画像中の人物の頭部の位置と向きを検出し、頭部アバター３３３の位置と向きをそれに追従させることにより、人物の動きに追従したアバターを得ることが出来る。

　次に、テクスチャについて説明する。生成部２１２は、例えば、一般的な肌色のテクスチャを用いて顔面モデルを生成してもよい。しかし、実際の人物（ユーザ）の顔により近づけるために、生成部２１２は、撮像データに基づくテクスチャを用いてもよい。まず、テクスチャ生成部２１４は、取得部２１０が取得した撮像データから人物の顔のテクスチャデータを生成してよい。図６は、テクスチャ生成部２１４が生成したテクスチャデータを用いてアバターを生成する処理を示す概念図である。

　生成部２１２は、画像１５１に示すような、第２取得部２１１が算出した深度データに基づいて、画像１５２に示すような顔面モデル１５２１を生成する。そして、生成部２１２は、生成した顔面モデル１５２１に、テクスチャ生成部２１４が生成したテクスチャデータを合成することにより、画像１５３に示すような顔面モデルを生成する。これにより、より現実に近いアバターを生成することができる。

　なお、テクスチャ生成部２１４は、撮像データに基づいてテクスチャデータを生成するため、人物の顔面において撮像データに含まれていない部分のテクスチャデータの生成に失敗することがある。例えば、画像１５４の楕円１５４１に示す部分のように、顔面の両側の端部のテクスチャデータが、人物の背景に基づいて生成されてしまうことがある。そのため、テクスチャ生成部２１４は、人物の顔面において撮像データに含まれていない部分のテクスチャデータを、画像１５５に示すように、その近傍のテクスチャデータによって補完してもよい。

　なお、上述したように、生成部２１２が、人物の顔面モデルに、人物とは異なるキャラクタや性別の体のモデルを組み合わせる場合、当該キャラクタや当該性別の予め準備されたテクスチャデータを使用してアバターを生成してもよい。

　以上の構成を有するアバター表示システム１００とアバター表示方法Ｓ１によれば、撮像装置１０で撮像した自分の画像に合わせて自分のアバターを生成し、そのアバターを、情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…の画像表示領域３１に表示させることができる。従って、画像からその画像に合わせた自分のアバターを生成し、表示させる技術を実現することができる。また、生成部２１２が、テクスチャ生成部２１４が生成したテクスチャデータを用いてアバターを生成することにより、より現実に近いアバターを生成することができる。

　生成されるアバターは、上述の説明から理解されるように、少なくとも顔面が対象人物に合わせて（似せて）生成されたアバターであり、これを見た人は、そのアバターが誰を示すアバターであるかをすぐに認識することができる。このようなアバターは、誰であるかが確実に認識される必要があるが、まったくの素顔は出したくない、という場面において利用することができる。例えば、ひげを剃る、化粧をする等、身だしなみを整えた画像でアバターを生成しておき、必要に応じてそれを用いることができる。

　（変形例１）
　上述の実施形態では、撮像装置１０、アバター表示装置２０、情報通信装置３０はそれぞれ独立した装置であるアバター表示システム１００を説明した。しかし、このような形態に限られない。図７は、実施形態１の変形例１に係る携帯端末４０のブロック図である。携帯端末４０は、情報通信装置の一例であり、情報通信装置、３０ａ、３０ｂ、３０ｃ、…と通信可能である。

　携帯端末４０は、例えば撮像装置１０を備え、通信機能を有する携帯電話又はタブレット端末であってもよい。携帯端末４０は、撮像装置１０、主制御部２１、メモリ２３及びディスプレイ４１を備えてよい。撮像装置１０は、実施形態１で説明した機能を備えており、携帯端末４０に内蔵されてよい。

　ディスプレイ４１は、携帯端末４０の表示画面であり、ディスプレイ４１は画像表示領域４１１を有してよい。画像表示領域４１１は、例えば、携帯端末４０が有するアプリケーションを用いて画像が表示される領域である。

　主制御部２１は、取得部２１０、第２取得部２１１、生成部２１２、表示部２１３、及びテクスチャ生成部２１４を備えてよい。第２取得部２１１は、撮像データに基づいて深度データを算出してよい。生成部２１２は、深度データに基づいて３Ｄモデルを合成しアバターを生成し、メモリ２３に記録してよい。表示部２１３は、メモリ２３に記録されたアバターを、動画像中の人物の向きに追従させ、ディスプレイ４１の画像表示領域４１１および情報通信装置３０ａ、３０ｂ、３０ｃ、…の画像表示領域３１に、人物の動きに追従させたアバターを表示させてよい。例えば、表示部２１３は、(i)撮像装置１０が取得した動画像の各フレーム画像中の人物を当該人物の動きに追従させたアバターに置換してもよいし、(ii)所定の静止画像または動画像に対し、人物の動きに追従させたアバターを合成してもよいし、(iii)人物の動きに追従させたアバターのデータを生成してもよい。テクスチャ生成部２１４は、撮像データに基づいて人物のテクスチャデータを生成してよい。テクスチャ生成部２１４の機能については実施形態１で説明した通りである。主制御部２１は、表示部２１３が生成したデータをディスプレイ４１に表示させてもよいし、当該データを情報通信装置３０ａ、３０ｂ、３０ｃ、…に送信して、情報通信装置３０ａ、３０ｂ、３０ｃ、…の画像表示領域３１に、人物の動きに追従させたアバターを表示させてもよい。メモリ２３は、実施形態１で説明した通りである。

　変形例１に係る携帯端末４０は、実施形態１に係る撮像装置１０、アバター表示装置２０、及び情報通信装置３０を１つの装置で実現するものである。

　なお、変形例１では、携帯端末４０が実施形態１に係る撮像装置１０、アバター表示装置２０、及び情報通信装置３０の機能を有する構成とした。しかし、携帯端末４０に限らず、デスクトップＰＣ（デスクトップパーソナルコンピュータ）が、これらの機能を有する構成としてもよい。

　以上のように、変形例１では、携帯端末４０は、撮像装置１０を内蔵し、画像表示領域４１１を有する情報通信装置を兼ねている構成である。近年、携帯端末の性能が向上し、さまざまなアプリケーションを利用することができる。そのため、上述の機能をすべて備えた携帯端末の構成でも、実施形態１で説明したアバター表示システム１００と同様の効果が得られる。また、ユーザは、携帯端末を用いて気軽に自らのアバターを動画像に表示させることができる。

　（変形例２）
　次に、実施形態１の変形例２について説明する。図８は、実施形態１の変形例２に係るアバター表示システム２００のブロック図である。アバター表示システム２００は、携帯端末４０ＡとデスクトップＰＣ５０とを備えてよい。

　携帯端末４０Ａは、撮像装置１０、主制御部２１、通信部２２及びメモリ２３を備えてよい。主制御部２１は、取得部２１０、第２取得部２１１、生成部２１２、表示部２１３、及びテクスチャ生成部２１４を備えてよい。主制御部２１は、通信部２２を介して、デスクトップＰＣ５０に、人物の動きに追従させたアバターを表示するためのアバター表示データを送信してよい。携帯端末４０Ａの構成は、変形例１で説明した携帯端末４０と、通信部２２を備えること、ディスプレイ４１を用いないことを除いて同様の構成である。

　デスクトップＰＣ５０は、ディスプレイ５１と通信部５２を備え、ディスプレイ５１は、画像表示領域５１１を備えてよい。通信部５２は、携帯端末４０Ａから、アバター表示データを受信してよい。デスクトップＰＣ５０は、携帯端末４０Ａから受信したアバター表示データを用いて、ディスプレイ５１の画像表示領域５１１に人物の動きに追従させたアバターを表示してよい。デスクトップＰＣ５０は、実施形態１で説明した情報通信装置３０の一形態である。

　携帯端末４０Ａは、変形例１の携帯端末４０と同様に、撮像装置１０、取得部２１０、第２取得部２１１、生成部２１２、表示部２１３、及びテクスチャ生成部２１４を備えてよい。しかし、変形例１の携帯端末４０と異なり、携帯端末４０Ａは、人物の動きに追従させたアバターを自身のディスプレイに表示するのではなく、デスクトップＰＣ５０のディスプレイ５１に人物の動きに追従させたアバターを表示させてよい。

　以上のように、携帯端末４０Ａが人物の動きに追従させたアバターを表示するためのアバター表示データを生成し、生成したアバター表示データをデスクトップＰＣ５０に表示させてもよい。また、表示部２１３を、携帯端末４０Ａではなく、デスクトップＰＣ５０に備えてもよい（図示せず）。以上の構成によれば、実施形態１で説明したアバター表示システム１００と同様の効果が得られる。また、ユーザは、携帯端末を用いて気軽に自らのアバターをデスクトップパソコンの動画像に表示させることができる。

　〔実施形態２〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

　（携帯端末４０Ｂの構成）
　図９は、本発明の実施形態２に係る携帯端末４０Ｂの構成を示すブロック図である。携帯端末４０Ｂは、撮像装置１０、主制御部２１、メモリ２３及びディスプレイ４１を備えてよい。主制御部２１は、取得部２１０、第２取得部２１１、生成部２１２、表示部２１３、変換部２１５、及びテクスチャ生成部２１４を備えてよい。撮像装置１０、取得部２１０、第２取得部２１１、生成部２１２、表示部２１３、及びテクスチャ生成部２１４及びメモリ２３は、実施形態１で説明した各部と同様である。

　携帯端末４０Ｂは、携帯端末４０と同様に、実施形態１で説明した情報通信装置３０を兼ねている。携帯端末４０Ｂは、動画像を介したコミュニケーションシステムのアプリケーションを備えてよい。上述したように、コミュニケーションシステムにおいて用いる動画像は、二次元画像であってもよく、３次元画像であってもよく、動画像を介したコミュニケーションシステムとは、リモート会議システム、メタバース（metaverse）等のＶＲ空間（仮想空間）内のコミュニケーションシステム等が挙げられる。リモート会議システムは、インターネット又は専用回線を用いて、携帯電話、パーソナルコンピュータ、テレビ電話等を介して、複数の人が打合せ、会議、会話、チャット等を行うシステムであり、Ｗｅｂ会議システム、又はビデオ会議システムとも言われる。本実施形態で用いる動画像を介したコミュニケーションシステムは公知のアプリケーションを用いて実施することができ、その種類は任意である。

　動画像を介したコミュニケーションシステムのアプリケーションを起動すると、ディスプレイ４１には、動画像を介したコミュニケーションシステム４１１（例えば、リモート会議システムの会議室）が表示され、その中に参加者画像表示領域４１１１が表示される。参加者画像表示領域４１１１には、動画像を介したコミュニケーションシステムの参加者が表示される。本実施形態では、参加者画像表示領域４１１１には、携帯端末４０Ｂおよび情報通信装置３０ａ、３０ｂ、３０ｃ、…のユーザの画像が表示されるものとする。参加者画像表示領域４１１１は、実施形態１で説明した画像表示領域３１に対応する。表示部２１３は、参加者画像表示領域４１１１に、参加者の動きに追従させたアバターを表示してよい。

　携帯端末４０Ｂのユーザは、例えば、会議を開始する前に、自身の画像を携帯端末４０Ｂで撮像してよい。そして、その画像の中から好みの画像を選択し、生成部２１２にアバターを生成させてよい。一例として、ユーザが、好みの画像の頭部又は頭部の領域を選択し、アバター生成ボタンをタップすると、生成部２１２は、その領域の画像から、上半身又は頭部のアバターを生成し、メモリ２３に記録する。

　次に、ユーザは、動画像を介したコミュニケーションシステムの中で自分の画像が表示される参加者画像表示領域４１１１を指定してよい。具体的には、例えば、画像に表示させる自身の名前又はＩＤを入力又は選択してよい。なお、他の参加者の名前又はＩＤを入力又は選択することはできないようになっている。

　一態様において、表示部２１３は、撮像装置１０が撮像した動画像のユーザの上半身、全身又は頭部を、その動きに追従させたアバターに置換してよい。主制御部２１は、アバターに置換した動画像を、参加者画像表示領域４１１１に表示させてよい。さらに、主制御部２１は、ユーザの画像をアバターに置換した動画像を、動画像を介したコミュニケーションシステムのアプリケーションを通じて、他の参加者が使用する情報通信装置に送信してよい。

　他の一態様において、変換部２１５は、生成部２１２が生成したアバターのデータ形式を変換してよい。具体的には、変換部２１５は、携帯端末４０Ｂが使用するアプリケーションの画像データ形式に適合するようにアバターのデータ形式を変換してよい。リモート会議システムのアプリケーションによって、使用できる画像のデータ形式が異なる場合は、変換部２１５は、アバターのデータ形式（例えばＶＲＭ形式）を、そのアプリケーションで処理可能なデータ形式に変換してよい。これにより、動画像を介したコミュニケーションシステムの種類によらず、アバターを表示することができる。以下、アバターのデータ形式を変換するアバター表示方法Ｓ２について図面を参照して説明する。

　図１０は、携帯端末４０Ｂが実行するアバター表示方法Ｓ２の流れを示すフローチャートである。アバター表示方法Ｓ２は次のステップを含む。まずステップＳ２０において、撮像装置１０は、人物を撮像し、撮像データを生成してよい。アバター表示装置２０の取得部２１０は、通信部２２および通信部１１を介して撮像装置１０が生成した撮像データを取得してよい。

　続いて、ステップＳ２１において、第２取得部２１１は、取得部２１０が取得した撮像データから人物の深度データを取得（算出）してよい。なお、後述するように、第２取得部２１１は、撮像データから人物の画像データを取得してよい。ステップＳ２２において、生成部２１２は、第２取得部２１１が算出した深度データに基づいて３Ｄモデルを合成し、アバターを生成してよい。生成部２１２は、生成したアバターをメモリ２３に記録してよい。

　次に、ステップＳ２３において、変換部２１５は、携帯端末４０Ｂが用いる動画像を介したコミュニケーションシステムのアプリケーションに応じてアバターのデータ形式を変換してよい。次に、ステップＳ２４において、表示部２１３は、携帯端末４０Ｂ（情報通信装置）のディスプレイ４１の参加者画像表示領域４１１１に、その人物の動きに追従させたアバターを表示させてよい。また、表示部２１３は、データ形式を変換したアバターを、通信部２２を介して情報通信装置３０ａ、３０ｂ、３０ｃ、…に送信し、情報通信装置３０ａ、３０ｂ、３０ｃ、…の画像表示領域３１（参加者画像表示領域）に、アバターを表示させてもよい。

　以上の構成を有する実施形態２に係る携帯端末４０Ｂ及びアバター表示方法Ｓ２によれば、動画像を介したコミュニケーションシステム（例えば、リモート会議システム）において表示されるユーザのアバターを表示することができる。これにより、実施形態１において得られる効果と同様の効果を得ることができる。特に、リモート会議システムでは、誰が発言したかが明確に認識できる必要があるが、本実施形態によるアバターは、ユーザの画像に合わせて生成されるため、アバターがユーザであることを明確に認識することができる。そして、本実施形態に係るアバターは、ユーザに似せたアバターであるので、素顔を出さなくても大きな違和感を他の参加者に与えることがないというメリットが得られる。さらに、変換部２１５を備えることにより、異なるデータ形式が必要なアプリケーションにも対応することができる。

　なお、上記の実施形態２で説明した変換部２１５は、実施形態１においても組み合わせて実施することができる。

　〔実施形態３〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１及び２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

　図１１は、本発明の実施形態３に係るアバター表示システム３００の構成を示すブロック図である。アバター表示システム３００は、撮像装置１０、アバター表示装置２０、及び情報通信装置３０を備えてよい。撮像装置１０と情報通信装置３０については、実施形態１で説明した装置と同様であるので、説明は省略する。

　アバター表示装置２０は、主制御部２１、通信部２２、及びメモリ２３を備えてよい。主制御部２１は、取得部２１０、第２取得部２１１、生成部２１２、表示部２１３、テクスチャ生成部２１４及びトラッキング部２１６を備えてよい。取得部２１０、第２取得部２１１、生成部２１２、表示部２１３及びテクスチャ生成部２１４は、実施形態１で説明したとおりである。トラッキング部２１６は、撮像装置１０が取得した画像中の人物の顔面をトラッキングしてよい。さらに、トラッキング部２１６は、画像中の人物の首をトラッキングしてもよい。トラッキングとは、位置を検出することである。表示部２１３は、トラッキングされた顔面の向きを参照して人物の動きにアバターを追従させてよい。また、トラッキング部２１６が人物の首をトラッキングした場合は、表示部２１３は、トラッキングされた首の向きを参照して人物の首から下の体部の動きにアバターを追従させてよい。以下、その動作を具体的に説明する。

　生成部２１２は、撮像装置１０により取得された画像から、その人物の頭部モデルだけでなく、首から下の体部のモデルを併せて生成してよい。首から下の体部とは、例えば、頭部を除く上半身である。以下、本実施形態では、首から下の体部を単に「体部」とも称する。体部モデルは、顔面モデルほど似せる必要はない。例えば、体部モデルは、既存の体部モデルを用いてもよい。例えば、体部モデルは、既存の上半身モデルから頭部を除いたものでもよい。

　トラッキング部２１６は、人物の顔面の、例えば目をトラッキング（追跡）してよい。なお、画像中の特定の対象をトラッキングするため、公知のプログラム又はアプリケーションを用いることができる。トラッキングの対象は目、鼻及び口でもよい。トラッキング部２１６は、トラッキングされた２つの目の形状と配置から、顔面の向きを導出してよい。顔面の向きを導出する方法は、実施形態１で説明した顔面の向きを決定する方法と同様である。

　トラッキング部２１６は、顔面と併せて人物の首をトラッキングしてよい。首は、例えば、顔面の下方に延びる円筒状の領域として認識される。トラッキング部２１６は、トラッキングした首の向きを導出してよい。首の向きとは、首が曲がっている前後左右の方向をいう。言い換えれば、首の向きとは、首が倒れている方向ということである。首の向きは、左右に倒れていればその角度で体部が左右に倒れていると判定され、首の上下の幅の比率が変化すれば、その比率に応じて体部が所定の角度で前後に倒れていると判定される。

　首をトラッキングする理由は、アバターの頭部と体部とを別々に処理するためである。つまり、生成部２１２は、人物の頭部のモデルと首から下の体部のモデルとを個別に生成してよい。頭部は、体部とは独立して動いている。一方、首の向きは、体部の向きと連動している。例えば、首が右に倒れている場合は、体部が右に倒れていると考えられる。そこで、表示部２１３は、人物の目、鼻及び口を追跡して、アバターの頭部を動かし、人物の首の向きを参照してアバターの体部を動かしてよい。これにより、より現実に近いアバターの動きを表示することができる。

　アバターの頭部を動かすとは、表示部２１３が、トラッキング部２１６が導出した顔面の向きに追従させて、生成部２１２が生成した頭部モデルの向きを変えて、情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…の少なくとも一つの画像表示領域３１に表示させることである。アバターの体部を動かすとは、表示部２１３が、トラッキング部２１６が導出した首の向きに追従させて生成部２１２が生成した体部モデルの向きを変えて、情報通信装置３０、３０ａ、３０ｂ、３０ｃ、…の少なくとも一つの画像表示領域３１に表示させることである。表示部２１３は、向きを変えた頭部モデルまたは体モデルを生成してもよいし、頭部モデルまたは体モデルの向きを変えることを指定するモーションデータを生成してもよい。

　なお、体部のねじれをアバターで表示する場合は、例えば、肩部をトラッキングしてその位置と向きを検出して、体部がどの程度ねじれているかを導出し、体部モデルを捩じらせてもよい。また、手足は体部とは独立して動く。従って、手足もアバター化する場合は、画像から手足の位置と向きをトラッキングし、別途生成した手足のモデルの向きを変えてもよい。

　（アバター表示方法Ｓ３）
　次に、本実施形態３に係るアバター表示システム３００が実行するアバター表示方法Ｓ３について、図面を参照して説明する。図１２は、アバター表示システム３００が実行するアバター表示方法Ｓ３の流れを示すフローチャートである。なお、アバター表示方法Ｓ３は、頭部と体部の両方を含むアバターを表示する場合を例にとって説明する。

　アバター表示方法Ｓ３は次のステップを含む。まず、まずステップＳ３１において、取得部２１０は、撮像装置１０が撮像した人物の撮像データを取得してよい。ステップＳ３２において、トラッキング部２１６は、取得部２１０が取得した撮像データにおける人物の目、鼻、口と首とをトラッキングしてよい。この際、撮像データから深度データ又は画像データを取得して、深度データ又は画像データに基づいて人物の目、鼻、口と首とをトラッキングしてよい。

　ステップＳ３３において、表示部２１３は、トラッキングした人物の目、鼻及び口を追跡して、アバターの頭部を動かしてよい。また、表示部２１３は、トラッキングした人物の首の向きを参照して、アバターの体部を動かしてよい。換言すれば、表示部２１３は、動画像中の人物の頭部と体部の動きに追従させたアバターを表示するためのアバター表示データを生成することにより、アバターを動かしてよい。アバターが動く動画像は画像表示領域３１に表示される。

　以上の構成を有する実施形態３に係るアバター表示装置２０及びアバター表示方法Ｓ３によれば、人物の頭部モデルと体部モデルとを個別に生成し、目、鼻及び口を追跡してアバターの頭部を動かし、人物の首の向きを参照して、アバターの体部を動かしてよい。これにより、アバターの頭部と体部を独立して動かすことができる。従って、実施形態１又は実施形態２に係る効果に加えて、より人物の動きに忠実なアバターを表示することができるという効果を得ることができる。

　なお、上記の実施形態３で説明したトラッキング部２１６は、実施形態１又は実施形態２においても組み合わせて実施することができる。

　〔実施形態４〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１から３にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

　実施形態４に係るアバター生成装置は、人物の撮像データを取得する取得部と、撮像データから人物の深度データを算出する第２取得部と、深度データに基づいて３Ｄモデルを合成しアバターを生成する生成部と、生成したアバターを出力する出力部と、を備える。生成部は、前述の実施形態１～３で説明した生成部２１２と同様である。出力部は、前述の実施形態１～３で説明した通信部２２と同様である。なお、アバター生成装置は、生成部が生成したアバターを記録するメモリを備えていてもよい。このメモリは、前述の実施形態１～３で説明したメモリ２３と同様である。

　本実施形態に係るアバター生成装置で生成したアバターは、出力部により外部へ出力することができる。例えば、アバター生成装置は、仮想空間にアバターを出力することができる。仮想空間とは、全体がコンピュータグラフィック画像で構成されたＶＲ（Virtual Reality）といわれる仮想現実空間（例えば、ＶＲＣｈａｔ）、現実空間とコンピュータグラフィック画像とを組み合わせたＡＲ（Augmented Reality）といわれる拡張現実空間、現実空間に仮想情報等を重ねたＭＲ（Mixed Reality）といわれる複合現実空間等である。例えば、インターネットを介して参加できる仮想空間がある。あるいは、所定の表示装置（ディスプレイ、ビューア等）を用いて表示される仮想空間がある。仮想空間にアバターを出力するとは、このような仮想空間にアバターを表示させることである。

　仮想空間にアバターを出力する場合は、その仮想空間のフォーマットに合わせてアバターのデータ形式を変更する必要がある場合がある。そのため、アバター生成装置は、前述の変換部２１５を備えていてもよい。

　以上の構成を有するアバター生成装置によれば、自分のアバターを生成して、さまざまな仮想空間に表示させることができる。

　〔実施形態５〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１から４にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。以下に説明する実施形態は、それぞれを上述の実施形態１～４のそれぞれに適用することができる。

　上記実施形態１から４で説明した撮像装置１０は、カラーフィルタを用いることにより、人物の色データを取得することができる。その場合、生成部２１２は、深度データと色データとを用いてアバターを生成することができる。つまり、アバターに、人物の顔、髪、服装等の色味を加えることができる。
　〔実施形態６〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１から５にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。以下に説明する実施形態は、それぞれを上述の実施形態１～５のそれぞれに適用することができる。

　上記実施形態１から５で説明したアバターは、人物の向きに追従させるだけではなく、その表情を人物の表情に追従させることができる。

　一態様において、表示部２１３は、撮像装置１０が撮像した人物の撮像画像に基づいて、人物の顔面内の特徴点を検出してよい。表示部２１３は、例えば、目の周辺の１以上の特徴点、鼻周辺の１以上の特徴点、および、口周辺の１以上の特徴点を検出してもよい。目の周辺の１以上の特徴点には、眉毛に対応する特徴点が含まれていてもよい。また、口周辺の１以上の特徴点には、顎に対応する特徴点が含まれていてもよい。

　このとき、表情の追従のために検出される人物の顔面内の特徴点の数は、アバターの生成のために検出される人物の顔面内の特徴点の数よりも少なくてもよい。検出する特徴点の数が多いほどより正確に人物の表情を表現することができるが、特徴点の数が多くなると、情報処理に時間を要するため、アバターの表情の生成に遅延が生じ、リアルタイムでのアバターの表示が困難になる。そのため、表情を表す特徴点の数を絞り込むことにより、迅速な情報処理が可能となり、リアルタイムで表情が豊かなアバターを生成することができる。表情の追従のために検出される人物の顔面内の特徴点は、例えば、図１６に示されるようなものであってもよい。

　表示部２１３は、検出した特徴点の座標の、アバターを生成したときの当該特徴点の座標からの変化に基づいて、アバターの顔面モデルを変形させることにより、アバターの表情を人物の表情に追従させることができる。目、鼻、口の周辺の特徴点の座標の変化に基づけば、目、鼻、口の形を人物の表情に合わせて変形させることができるので、アバターの表情を人物の表情に追従させることができる。例えば、生成部２１２は、アバターの顔面モデルを生成する際に、アバターの生成のために検出される人物の顔面内の特徴点のうち、表情の追従のために検出される人物の顔面内の特徴点の座標を顔面モデルに紐付けて記録してよい。そして、表示部２１３は、顔面モデルに紐付けられた各特徴点の座標と、検出した各特徴点の座標との差分に基づいて、ブレンドシェイプ等の公知のアルゴリズムを用いて顔面モデルを変形させてよい。これにより、表示部２１３は、アバターの表情を人物の表情に合わせてリアルタイムに追従させることができる。

　なお、人物の表情によっては、アバターを生成したときに表に出ていない顔面の部位（例えば、舌、歯など）が表に出てくる場合がある。これに対応するために、例えば、生成部２１２は、通常の状態では表に出ない顔面の部位（例えば、舌、歯など）については、３Ｄモデルのパーツを予め用意してアバターに合成しておいてよい。

　また、一態様において、表示部２１３は、ユーザから指定された表情を、アバターの表情に反映させてよい。例えば、人物が怒っている表情であるときに、アバターを笑っている表情にさせてもよい。この場合、表示部２１３は、笑顔を作るための特徴点（例えば、口周辺の特徴点）のみ固定し（変形させず）、その他の特徴点は検出した特徴点の座標に合わせて変化させることで、怒っているのに笑っている表情を表現することができる。

　また、人以外のキャラクタをアバターとして利用する場合であっても、当該キャラクタの顔面の特徴点と人物の顔面の特徴点とを予め対応付けておくことで、当該キャラクタの表情に人物の表情を反映させることもできる。これにより、人以外のキャラクタにもユーザの表情を反映させることができる。

　また、他の態様において、表示部２１３は、例えば、図１３に示す画像３６１ａ～３６１ｈのようなテンプレートを用いて、アバターの表情を人物の表情に追従させてもよい。例えば、表示部２１３は、撮像画像中の人物の表情を画像解析し、画像３６１ａ～３６１ｈのいずれかに近い表情が検出された場合、アバターの表情をそのように追従させてもよい。

　〔実施形態７〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１から６にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。以下に説明する実施形態は、それぞれを上述の実施形態１～６のそれぞれに適用することができる。

　上記実施形態１から６で説明した実施形態では、動画像中の人物の上半身、又は頭部のみのアバターを表示し、背景はそのままとした。しかし、動画像中の背景を置換表示してもよい。この場合の手順を図１４に示す。図１４の画像３７１は、オリジナルの画像である。この画像の背景を、画像３７２に示す所望の背景に変更する場合、まず画像３７２に示すように背景の一部を人物の輪郭で切り取る。この輪郭は人物よりやや大きめのおおよその輪郭で良い。そして、切り取った領域に人物のアバターを入れて、アバターと背景との隙間を滑らかにブレンディングすることにより、画像３７３のように所望の背景とアバターが表示される画像に置換することができる。
　〔実施形態８〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１から７にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。以下に説明する実施形態は、それぞれを上述の実施形態１～７のそれぞれに適用することができる。

　上記実施形態１から７で説明した実施形態では、顔面はできるだけ人物に合わせたアバターとするが、それ以外の部分は人物に合わせる必要はない。例えば、ヘアスタイルを変えてもよく、またアバターにネックレス、眼鏡等のアクセサリを付加してもよい。また、頭部以外の体部は、その人物の体形とは異なる体形のモデルに置換したアバターを用いてもよい。

　〔実施形態９〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１から８にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。以下に説明する実施形態は、上述の実施形態１～８のそれぞれに適用することができる。

　実施形態１～８では、アバター表示装置２０は、人物（ユーザ）の撮像データから深度データを算出し、その深度データに基づいてその人物の３Ｄモデルを合成しアバターを生成する例を説明した。しかし、アバターを生成するためのデータは深度データに限られない。例えば、画像データからアバターを生成してもよい。本実施形態では、第２取得部２１１が撮像データから画像データを取得し、生成部２１２が、当該画像データに基づいて３Ｄモデルを合成しアバターを生成する構成について説明する。

　画像データとしては、これに限定されないが、例えばＲＧＢ画像データを用いることができる。

　まず、第２取得部２１１は、撮像データから、人物の画像データを抽出してよい。一例として、第２取得部２１１は、公知のエッジ検出アルゴリズムを用いて、撮像データから輪郭を抽出することにより、撮像データ中の人物と背景とを識別して、人物の画像データを抽出してよい。図１５は、撮像データから人物の輪郭を抽出した結果の一例を示す概念図である。図１５の左の画像１５１は、撮像データの一例を示し、人物１５３および背景１５４が含まれている。図１５の右の画像１５２は、第２取得部２１１が画像１５１から輪郭を抽出した画像の一例を示す。第２取得部２１１は、画像１５２に基づき、一番大きな物体の輪郭外を削除することにより、画像１５１から背景１５４を削除して人物１５３の画像データを取得することができる。

　続いて、生成部２１２は、人物の画像データから、特徴点を検出してよい。一例として、生成部２１２は、公知の特徴点検出アルゴリズムを用いて、人物の顔の特徴点を検出してよい。図１６は、人物１６１の画像データから、人物１６１の顔の特徴点Ｐを検出した結果の一例を示す概念図である。一例として、生成部２１２は、検出した人物１６１の顔の特徴点Ｐから、人物１６１の顔の目、鼻、口の配置および顔のサイズを検出することができる。図１７は、向きが異なる人物を含んだ種々の画像データから、人物の顔の目、鼻、口の特徴点Ｑをそれぞれ抽出した結果の例を示す概念図である。生成部２１２は、正面を向いた人物の画像１７１だけでなく、同様の手法で、種々の方向を向いた人物の画像１７２～２７４から人物の顔の目、鼻、口の特徴点Ｑをそれぞれ検出することができる。

　ここで、追跡テンプレートについて説明する。追跡テンプレートは、人物の顔の向きを追跡（トラッキング）するために用いるテンプレートであり、人物の顔の様々な向きに対応する人物の顔の目、鼻、口の特徴点Ｑの基準となる配置を示している。追跡テンプレートは、例えば、様々な人物（様々な人種が含まれてよい）の様々な方向を向いた画像に基づいて、上述した手法により各画像における人物の顔の目、鼻、口の特徴点Ｑをそれぞれ検出して、機械学習させることによって生成することができる。顔の向きを追跡したい人物の画像から目、鼻、口の特徴点の配置を検出し、追跡テンプレートと比較することにより、当該人物の顔の向きを推定することができる。

　ここで、生成部２１２は、人物のアバターを生成する際に、追跡テンプレートの基準を用いて、人物の顔の目、鼻、口の特徴点Ｑの情報を取得してよい。例えば、各画像１７１～１７４から目、鼻、口の特徴点Ｑを検出したときに、予め作成した追跡テンプレートが示す基準となる配置と比較して、人物の目、鼻、口の特徴点Ｑの基準に対する配置およびサイズの差を取得してもよい。そして、生成部２１２は、このように取得した目、鼻、口の特徴点Ｑの情報（基準に対する配置およびサイズの差）に基づいて、人物の顔の前面部の３Ｄモデルを生成してよい。

　目、鼻、口の特徴点Ｑの情報（基準に対する配置およびサイズの差）に基づいて顔面の３Ｄモデルを生成する方法は特に限定されないが、生成部２１２は、例えば、様々な顔の３Ｄモデルと、当該３Ｄモデルの目、鼻、口の特徴点Ｑの情報（基準に対する配置およびサイズの差）との組を教師データとして機械学習した学習モデルを用いることによって、顔面の３Ｄモデルを生成してもよい。

　図１８は、顔の前面部の３Ｄモデルと顔の前面部を除く頭部の３Ｄモデルの一例を示す概念図である。生成部２１２は、人物の目、鼻、口の特徴点Ｑに基づいて生成した顔の前面部の３Ｄモデル１８１に対し、例えば予めメモリ２３に記憶している、髪を含む頭部の３Ｄモデル１８２を結合させることにより、頭部の３Ｄモデルを生成してよい。生成部２１２は、２つの３Ｄモデルを結合するときに、例えば、それぞれの３Ｄモデルのサイズの調整、キャリブレーション（角度による画像の歪みの補正）、モーフィング（ｍｏｒｐｈｉｎｇ、２つの３Ｄモデルのつなぎ目を滑らかにする画像処理）を併せて行ってもよい。

　さらに生成部２１２は、実施形態１と同様に、頭部モデルに、上半身やその他の体のモデルを結合してもよいし、撮像データに基づくテクスチャを合成してもよい。このように生成部２１２が生成したアバターは、実施形態１と同様に表示部２１３が表示してよい。また、表示部２１３は、上述した追跡テンプレートを使用し、人物の顔面の向きを検出して、アバターの顔面の向きを追従させてもよい。また、表示部２１３は、人物の顔面内の所定の特徴点を検出し、アバターの表情を人物の表情に追従させてもよい。

　以上のように、アバター表示装置２０は、人物の深度データに代えて、あるいは加えて、人物の画像データを用いて、その人物のアバターを生成することができる。つまり、第２取得部２１１は、人物の深度データ又は画像データを取得することができる。このことは、上述の実施形態１～５に係るアバター表示装置及びアバター生成装置のいずれについても同様である。

　〔ハードウェア構成およびソフトウェアによる実現例〕
　アバター表示装置２０、及び携帯端末４０，４０Ａ，４０Ｂの制御ブロック（特に主制御部２１に含まれる各部等、以下「アバター表示装置等」という）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、アバター表示装置等は、図１９に示すようなコンピュータ（電子計算機）を用いて構成されてよい。

　図１９は、アバター表示装置等として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５と、通信インターフェース９１６とを備えている。演算装置９１２、主記憶装置９１３、および補助記憶装置９１４は、それぞれ、例えばＣＰＵ、ＲＡＭ（random access memory）、ソリッドステートドライブまたはハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、および、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０および出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、ボタン、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ランプ、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０および出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。

　補助記憶装置９１４には、コンピュータ９１０を、アバター表示装置等として動作させるための情報処理プログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記情報処理プログラムを主記憶装置９１３上に展開して該情報処理プログラムに含まれる命令を実行することによって、コンピュータ９１０を、アバター表示装置等が備える各部として機能させる。なお、補助記憶装置９１４が情報処理プログラム等の情報の記録に用いる記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。

　また、コンピュータ９１０の外部の記録媒体に記録されているプログラム、あるいは任意の伝送媒体（通信ネットワークや放送波等）を介してコンピュータ９１０に供給されたプログラムを用いてコンピュータ９１０を機能させる構成を採用してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

　〔付記事項〕
　本明細書に記載の発明の一部は以下の付記のようにも記載されうるが、以下には限られない。

　（付記１）
　人物の撮像データを取得する取得部と、前記撮像データから前記人物の深度データ又は画像データを取得する第２取得部と、前記深度データ又は画像データに基づいて３Ｄモデルを合成しアバターを生成する生成部と、情報通信装置の画像表示領域に、前記人物の動きに追従させた前記アバターを表示させる表示部と、を備える、アバター表示装置。

　（付記２）
　人物の撮像データを取得する取得部と、前記撮像データから前記人物の深度データ又は画像データを取得する第２取得部と、前記深度データ又は画像データに基づいて３Ｄモデルを合成しアバターを生成する生成部と、生成した前記アバターを出力する出力部と、を備える、アバター生成装置。

　（付記３）
　少なくとも１つのプロセッサに、人物の撮像データを取得する取得処理と、前記撮像データから前記人物の深度データ又は画像データを取得する第２取得処理と、前記深度データ又は画像データに基づいて３Ｄモデルを合成しアバターを生成する生成処理と、情報通信装置の画像表示領域に、前記人物の動きに追従させた前記アバターを表示させる表示処理と、を実行させるための、プログラム。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　１０　撮像装置
　１１，２２，３２，５２　通信部
　２０　アバター表示装置
　２１　主制御部
　２１１　第２取得部
　２１２　生成部
　２１３　表示部
　２１５　変換部
　２１６　トラッキング部
　２３　メモリ
　３０　情報通信装置
　３１，４１１，５１１　画像表示領域
　４０，４０Ａ，４０Ｂ　携帯端末
　４１，５１　ディスプレイ
　４１１１　参加者画像表示領域
　５０　デスクトップＰＣ

 

Claims (11)

1. 　人物の撮像データを取得する取得部と、
   　前記撮像データから前記人物の深度データ又は画像データを取得する第２取得部と、
   　前記深度データ又は画像データに基づいて３Ｄモデルを合成しアバターを生成する生成部と、
   　情報通信装置の画像表示領域に、前記人物の動きに追従させた前記アバターを表示させる表示部と、
   を備える、アバター表示装置。
2. 　前記撮像データから前記人物のテクスチャデータを生成するテクスチャ生成部を更に備え、
   　前記生成部は、前記３Ｄモデルに前記テクスチャデータを合成する、請求項１に記載のアバター表示装置。
3. 　前記画像表示領域は、コミュニケーションシステムの参加者が表示される参加者画像表示領域であり、前記表示部は、前記参加者画像表示領域に、前記人物の動きに追従させた前記アバターを表示させる、請求項１又は２に記載のアバター表示装置。
4. 　前記画像表示領域は、動画像を介したコミュニケーションシステムの参加者が表示される参加者画像表示領域であり、前記表示部は、前記参加者画像表示領域に表示される前記人物を、前記人物の動きに追従させた前記アバターに置換する、請求項１または２に記載のアバター表示装置。
5. 　前記生成部が生成したアバターのデータ形式を変換する変換部をさらに備え、前記変換部は、前記情報通信装置が使用するアプリケーションの画像データ形式に適合するように前記アバターのデータ形式を変換する、請求項１から４のいずれか１項に記載のアバター表示装置。
6. 　前記生成部は、前記深度データ又は画像データのうち、目のデータ、鼻のデータ、及び口のデータのうちから選択した１以上のデータを用いて前記アバターを生成する、請求項１から５のいずれか１項に記載のアバター表示装置。
7. 　前記撮像データにおける前記人物の顔面をトラッキングするトラッキング部をさらに備え、前記表示部は、トラッキングされた前記顔面の向きを参照して前記人物の動きに前記アバターを追従させる、請求項１から６のいずれか１項に記載のアバター表示装置。
8. 　前記生成部は、前記人物の頭部のモデルと首から下の体部のモデルとを個別に生成する、請求項１から７のいずれか１項に記載のアバター表示装置。
9. 　前記表示部は、前記人物の目、鼻および口を追跡して、前記アバターの前記頭部を動かし、前記人物の首の向きを参照して前記アバターの体部を動かす、請求項８に記載のアバター表示装置。
10. 　人物の撮像データを取得する取得部と、
    　前記撮像データから前記人物の深度データ又は画像データを取得する第２取得部と、前記深度データ又は画像データに基づいて３Ｄモデルを合成しアバターを生成する生成部と、
    　生成した前記アバターを出力する出力部と、
    を備える、アバター生成装置。
11. 　少なくとも１つのプロセッサに、
    　人物の撮像データを取得する取得処理と、
    　前記撮像データから前記人物の深度データ又は画像データを取得する第２取得処理と、
    　前記深度データ又は画像データに基づいて３Ｄモデルを合成しアバターを生成する生成処理と、
    　情報通信装置の画像表示領域に、前記人物の動きに追従させた前記アバターを表示させる表示処理と、
    を実行させるための、プログラム。

Images