JP7342366B2 - アバター生成システム、アバター生成方法、およびプログラム - Google Patents

アバター生成システム、アバター生成方法、およびプログラム Download PDF

Info

Publication number
JP7342366B2
JP7342366B2 JP2019008803A JP2019008803A JP7342366B2 JP 7342366 B2 JP7342366 B2 JP 7342366B2 JP 2019008803 A JP2019008803 A JP 2019008803A JP 2019008803 A JP2019008803 A JP 2019008803A JP 7342366 B2 JP7342366 B2 JP 7342366B2
Authority
JP
Japan
Prior art keywords
user
avatar
target image
information
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019008803A
Other languages
English (en)
Other versions
JP2020119156A (ja
Inventor
帆夏 北家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2019008803A priority Critical patent/JP7342366B2/ja
Publication of JP2020119156A publication Critical patent/JP2020119156A/ja
Application granted granted Critical
Publication of JP7342366B2 publication Critical patent/JP7342366B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、アバター生成システム、アバター生成装置、サーバ装置、アバター生成方法、およびプログラムに関する。
ユーザの特徴を仮想空間上に表現するモデルデータ(アバター)を使った様々なサービスが提供されている。
例えば、下記特許文献1には、ユーザが、事前に、販売業者の提供するユーザ情報取得端末の3次元撮影機にて、ユーザの全身写真を撮影し、3次元撮影機が当該ユーザの3次元イメージ画像(アバター)を生成する技術が開示されている。
特開2003-288505号公報
上述の特許文献1の技術では、ユーザのアバターを生成するために、ユーザが特定の機器のある施設に行く必要がある。そのため、ユーザが気軽にアバターを生成したり更新したりすることは難しい。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、ユーザの画像を使ってアバターを簡単に生成する技術を提供することである。
本発明のアバター生成システムは、
ユーザを識別するユーザ識別情報と、当該ユーザの位置情報と、を取得するユーザ情報取得手段と、
前記ユーザの位置情報に基づいて、各々が互いに異なる場所に設置された複数の撮像装置の中から1台以上の撮像装置を選択する撮像装置選択手段と、
前記ユーザ識別情報を用いて、選択された前記1台以上の撮像装置により生成された画像の中から前記ユーザが写る対象画像を抽出する対象画像抽出手段と、
前記対象画像を処理することによって前記ユーザのアバターを生成するアバター生成手段と、
を備え
前記アバター生成手段により生成された前記アバターを、前記ユーザ識別情報と対応付けて記憶するアバター記憶手段を更に備え、
前記アバター生成手段は、前記ユーザ識別情報に対応するアバターが前記アバター記憶手段に既に記憶されている場合、前記対象画像を用いて前記アバター記憶手段に記憶されているアバターを更新する。
本発明に関するアバター生成装置は、
ユーザが写る画像であって、予め決められた場所に設けられた撮像装置により生成された画像を取得する画像取得手段と、
前記画像を処理することによって前記ユーザのアバターを生成するアバター生成手段と、
を備える。
本発明に関するサーバ装置は、
ユーザを識別するユーザ識別情報と、当該ユーザの位置情報と、を取得するユーザ情報取得手段と、
前記ユーザの位置情報に基づいて、各々が互いに異なる場所に設けられた複数の撮像装置の中から1台以上の撮像装置を選択する撮像装置選択手段と、
前記ユーザ識別情報を用いて、選択された前記1台以上の撮像装置により生成された画像の中から前記ユーザが写る対象画像を抽出する対象画像抽出手段と、
前記対象画像を、当該対象画像を処理することによって前記ユーザのアバターを生成する装置に送信する画像送信手段と、
を備える。
本発明のアバター生成方法は、
少なくとも1つのコンピュータが、
ユーザを識別するユーザ識別情報と、当該ユーザの位置情報と、を取得し、
前記ユーザの位置情報に基づいて、各々が互いに異なる場所に設けられた複数の撮像装置の中から1台以上の撮像装置を選択し、
前記ユーザ識別情報を用いて、選択された前記1台以上の撮像装置により生成された画像の中から前記ユーザが写る対象画像を抽出し、
前記対象画像を処理することによって前記ユーザのアバターを生成
生成された前記アバターを、前記ユーザ識別情報と対応付けて記憶し、
前記ユーザ識別情報に対応するアバターが既に記憶されている場合、前記対象画像を用いて記憶されているアバターを更新する、
ことを含む。
本発明のプログラムは、少なくとも1つのコンピュータに、上述のアバター生成方法を実行させる。
本発明によれば、ユーザの画像を使ってアバターを簡単に生成する技術が提供される。
第1実施形態に係るアバター生成システムを例示する図である。 第1実施形態に係るアバター生成システムの構成を例示する図である。 アバター生成装置のハードウエア構成を例示するブロック図である。 サーバ装置のハードウエア構成を例示するブロック図である。 第1実施形態のアバター生成システムにおいて実行される処理の流れを示すシーケンス図である。 撮像装置の設置位置を記憶するテーブルの一例を示す図である。 撮像装置の設置位置を記憶するテーブルの他の例を示す図である。 アバター生成装置が対象画像に基づいてアバターを生成する処理の流れを例示するフローチャートである。 ユーザ別に対象画像を記憶する記憶部が保持する情報の一例を示す図である。 アバター記憶部に記憶される情報の一例を示す図である。 アバター記憶部の情報が更新される様子を示す図である。 第1実施形態の第1の変形例に係るアバター生成システムの構成を例示する図である。 第1実施形態の第2の変形例に係るアバター生成システムの構成を例示する図である。 第1実施形態の第3の変形例に係るアバター生成システムの構成を例示する図である。 第2実施形態に係るアバター生成システムを例示する図である。 第2実施形態に係るアバター生成システムの構成を例示する図である。 VF装置のハードウエア構成を例示するブロック図である。 第2実施形態のVF装置において実行される処理の流れを例示するフローチャートである。 第2実施形態のVF装置において実行される処理の流れを例示するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。また、図中の矢印の向きは、特に説明のない限り、情報の流れを分かり易くするためのものであり、通信の方向(一方向通信/双方向通信)を限定するものではない。
[第1実施形態]
<概要説明>
図1は、第1実施形態に係るアバター生成システム1を例示する図である。なお、図1に示されるように、第1実施形態に係るアバター生成システム1は、ユーザ情報取得部101、撮像装置選択部102、対象画像抽出部103、およびアバター生成部104を含んで構成される。
ユーザ情報取得部101は、ユーザを一意に識別する情報(以下、「ユーザ識別情報」とも表記)と、当該ユーザの位置情報と、を取得する。撮像装置選択部102は、ユーザ情報取得部101によって取得されたユーザの位置情報に基づいて、各々が互いに異なる位置に設置された複数の撮像装置11の中から、1台以上の撮像装置11を選択する。ここで、複数の撮像装置11は、例えば、街中や建物内に設置された監視用のカメラ、または、本システム専用に所定の場所(多くのユーザが通行する可能性の高い場所など)に設置したカメラなどである。対象画像抽出部103は、撮像装置選択部102により選択された撮像装置11により生成された画像(映像データ)を取得する。また、対象画像抽出部103は、ユーザ情報取得部101により取得されたユーザ識別情報を用いて、当該画像(映像データ)の中からユーザが写る画像(以下、「対象画像」とも表記)を抽出する。アバター生成部104は、対象画像抽出部103が抽出した対象画像を処理することによって、その対象画像に写るユーザのアバターを生成する。
また、アバター生成部104は、生成したアバターのデータをアバター記憶部12に記憶する。アバター記憶部12は、アバター生成部104により生成されたユーザのアバターのデータを、当該ユーザを識別する情報(ユーザ情報取得部101により取得されたユーザ識別情報)と対応付けて記憶する処理部である。
上述した各機能部(ユーザ情報取得部101、撮像装置選択部102、対象画像抽出部103および、アバター生成部104)は、プログラムモジュールとして、少なくとも1つのコンピュータのストレージデバイス等に格納される。そして、コンピュータに搭載されたプロセッサが、これらプログラムモジュールを読み込んで実行することにより、それぞれ対応する機能が実現される。
<作用・効果>
以上、本実施形態では、ユーザの位置情報に基づいて当該ユーザの近傍に設置されている撮像装置11が選択され、当該撮像装置11からアバター生成用の画像が自動的に収集される。そして、当該収集された画像に基づいて、様々なサービスに活用可能な、ユーザの身体的特徴を精度よく反映させた(そのユーザの実際の体形に近い)アバターが自動的に生成される。このように、本実施形態のアバター生成システム1によれば、様々なサービスに活用可能なユーザのアバターのデータを、手間をかけずに収集することができる。
以下、本実施形態に係るアバター生成システム1について、より具体的な構成を例示して説明する。
<構成例>
図2は、第1実施形態に係るアバター生成システム1の構成を例示する図である。図2に例示されるアバター生成システム1は、アバター生成装置13およびサーバ装置14を含んで構成されている。
アバター生成装置13は、画像取得部131およびアバター生成部132を有する。画像取得部131は、ユーザが写る画像であって、撮像装置11により生成された画像(対象画像)を取得する。ここで、撮像装置11は、例えば街中や建物内に設置された監視用のカメラといった、予め決められた場所に設置されている撮像装置である。アバター生成部132は、図1を用いて説明した、アバター生成部104と同様である。アバター生成部132は、対象画像を解析することによって、当該対象画像に写るユーザの身体的特徴を抽出する。アバター生成部132は、ユーザが写る角度や姿勢が異なる複数の画像を用いることによって、そのユーザの身体的特徴を3次元的に解析することができる。ここで、身体的特徴は、身長、体形(腕、足、胸、腰回りに関するサイズや形、または、各部位の肉付きなど)、顔の部位(目、鼻、口、耳など)の形状、肌の色などを含む。アバター生成部132は、対象画像に基づいて生成されたユーザのアバターのデータを、アバター記憶部12に記憶する。なお、本図の例において、アバター記憶部12はアバター生成装置13とは別に設けられているが、これに限らず、アバター記憶部12はアバター生成装置13に内蔵されていてもよい。
サーバ装置14は、ユーザ情報取得部141、撮像装置選択部142、対象画像抽出部143、および画像送信部144を有する。ユーザ情報取得部141は、図1を用いて説明した、ユーザ情報取得部101と同様である。撮像装置選択部142は、図1を用いて説明した、撮像装置選択部102と同様である。対象画像抽出部143は、図1を用いて説明した、対象画像抽出部103と同様である。画像送信部144は、対象画像抽出部143により抽出された対象画像を、当該対象画像を処理することによってユーザのアバターを生成する装置(アバター生成装置13)に送信する。
<アバター生成装置13のハードウエア構成例>
アバター生成装置13は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、アバター生成装置13がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図3は、アバター生成装置13のハードウエア構成を例示するブロック図である。
アバター生成装置13は、バス1310、プロセッサ1320、メモリ1330、ストレージデバイス1340、入出力インタフェース1350、及びネットワークインタフェース1360を有する。
バス1310は、プロセッサ1320、メモリ1330、ストレージデバイス1340、入出力インタフェース1350、及びネットワークインタフェース1360が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1320などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1320は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1330は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1340は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1340はアバター生成装置13の各機能(画像取得部131、アバター生成部132など)を実現するプログラムモジュールを記憶している。プロセッサ1320がこれら各プログラムモジュールをメモリ1330上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
入出力インタフェース1350は、アバター生成装置13と図示しない周辺機器とを接続するためのインタフェースである。周辺機器は、例えば、キーボードやマウスなどの入力機器、ディスプレイ(タッチパネルディスプレイ)やスピーカーなどの出力機器を含む。
ネットワークインタフェース1360は、アバター生成装置13をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1360がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。アバター生成装置13は、ネットワークインタフェース1360を介して、サーバ装置14や、アバター記憶部12を有する外部装置と通信することができる。
なお、図3に例示される構成はあくまで一例であり、アバター生成装置13を含むハードウエアの構成は図3の例に制限されない。例えば、アバター生成装置13のストレージデバイス1340が、アバターデータを記憶するアバター記憶部12として機能してもよい。この場合、外部にアバター記憶部12が存在していなくてもよい。
<サーバ装置14のハードウエア構成例>
サーバ装置14は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、サーバ装置14がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図4は、サーバ装置14のハードウエア構成を例示するブロック図である。
サーバ装置14は、バス1410、プロセッサ1420、メモリ1430、ストレージデバイス1440、入出力インタフェース1450、及びネットワークインタフェース1460を有する。
バス1410は、プロセッサ1420、メモリ1430、ストレージデバイス1440、入出力インタフェース1450、及びネットワークインタフェース1460が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1420などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1420は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1430は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1440は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1440はサーバ装置14の各機能(ユーザ情報取得部141、撮像装置選択部142、対象画像抽出部143、画像送信部144など)を実現するプログラムモジュールを記憶している。プロセッサ1420がこれら各プログラムモジュールをメモリ1430上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
入出力インタフェース1450は、サーバ装置14と図示しない周辺機器とを接続するためのインタフェースである。周辺機器は、例えば、キーボードやマウスなどの入力機器、ディスプレイ(タッチパネルディスプレイ)やスピーカーなどの出力機器を含む。
ネットワークインタフェース1460は、サーバ装置14をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1460がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。サーバ装置14は、ネットワークインタフェース1460を介して、撮像装置11やアバター生成装置13と通信することができる。
撮像装置11は、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを搭載するカメラである。対象画像抽出部143は、ネットワークインタフェース1460を介して、撮像装置選択部142により選択された撮像装置11の画像(映像データ)を取得することができる。また、画像送信部144は、ネットワークインタフェース1460を介して、対象画像抽出部143が抽出した対象画像をアバター生成装置13に送信することができる。
なお、図4に例示される構成はあくまで一例であり、サーバ装置14を含むハードウエアの構成は図4の例に制限されない。例えば、各々の撮像装置11によって生成された画像(映像データ)を、撮像装置11を識別する情報と紐付けて記憶しておく映像記憶用サーバ装置(図示せず)が存在してもよい。この場合、対象画像抽出部143は、ユーザの位置情報を基に選択された撮像装置11を識別する情報を映像記憶用サーバ装置に送信することによって、対象の撮像装置11の画像(映像データ)を取得することができる。また、対象画像抽出部143は、撮影期間(例えば、1日間など)を指定する情報を更に送信し、ある程度限定された期間における画像(映像データ)を取得するように構成されていてもよい。
<処理の流れ>
図5を用いて、本実施形態のアバター生成システム1において実行される処理の流れを説明する。図5は、第1実施形態のアバター生成システム1において実行される処理の流れを示すシーケンス図である。
<<サーバ装置14の処理>>
まず、ユーザ情報取得部141が、あるユーザのユーザ識別情報と、当該ユーザの位置情報とを取得する(S102)。ユーザ識別情報とユーザの位置情報は、例えばユーザ端末上にインストールされた専用のアプリケーションを介して、ユーザ端末からサーバ装置14に向けて送信される。ユーザ端末は、例えば、ユーザ端末で専用のアプリケーションが起動されたタイミングでユーザ識別情報とユーザの位置情報をサーバ装置14に送信してもよいし、バックグラウンド処理で定期的にユーザ識別情報とユーザの位置情報をサーバ装置14に送信してもよい。また、アバター生成装置13が、専用のアプリケーションをインストールしているユーザ端末に対して、アバターの生成/更新処理の開始要求を送信するように構成されていてもよい。この場合、当該アバター生成装置13からの要求に応じて、ユーザ端末が、ユーザ識別情報とユーザの位置情報とをサーバ装置14に送信する。また、予め指定されたエリア(例えば、ユーザの自宅周辺から所定の範囲内に位置する商業施設など)内でのみ、ユーザ識別情報とユーザの位置情報とをサーバ装置14に送信するように構成されていてもよい。この場合、ユーザ識別情報およびユーザの位置情報を送信する対象となるエリアを示す情報をユーザがユーザ端末上に予め登録しておく。ユーザ端末は、ユーザの位置情報と予め登録されたエリア情報とを比較して、ユーザ識別情報およびユーザの位置情報の送信要否を判断することができる。
なお、ユーザ識別情報とユーザの位置情報を送信する頻度やアバター生成装置13からユーザ端末に要求を送信する頻度については、基本的に薄着となる夏場に多く、基本的に厚着となる冬場に少なくする等、適宜調整することができる。また、空調が使用されている施設内やプールなど、薄着となる場所で、ユーザ識別情報とユーザの位置情報を送信する頻度やアバター生成装置13からユーザ端末に要求を送信する頻度を多くするように調整してもよい。このようにすることで、後述の処理において、着用衣服による影響が少ないユーザの画像が取得でき、ユーザの身体的特徴を精度よく抽出することが可能となる。
撮像装置選択部142は、ユーザ情報取得部141が取得したユーザの位置情報に基づいて、そのユーザの位置の近傍に設けられている撮像装置11を選択する(S104)。撮像装置選択部142は、例えば図6に例示されるような情報を用いて、ユーザの位置情報に対応する1台以上の撮像装置11を選択することができる。図6は、撮像装置11の設置位置を記憶するテーブルの一例を示す図である。図6に例示されるテーブルは、それぞれの撮像装置11の設置位置を示す情報を、それぞれの撮像装置11の識別情報と対応付けて記憶している。撮像装置選択部142は、ユーザの位置情報が示す位置と、各撮像装置11の設置位置とに基づいて、ユーザの近傍に設けられている撮像装置11を特定することができる。例えば、撮像装置選択部142は、ユーザの位置情報が示す位置および各撮像装置11の設置位置を用いて算出される距離が所定の閾値以下となる撮像装置11を、選択対象の撮像装置11として特定することができる。なお、図6の例に限らず、図7に例示されるように、撮像装置の設置位置が管理されていてもよい。図7は、撮像装置11の設置位置を記憶するテーブルの他の例を示す図である。図7に例示されるテーブルでは、予め決められたエリア毎に1以上の撮像装置がグループ化されている。この場合、撮像装置選択部142は、ユーザの位置情報に基づいて、図7のテーブルで定義されるグループ単位で1以上の撮像装置を選択することができる。なおこれ以外に、それぞれ視点の異なる複数の撮像装置11が、アバターを生成する際に使用する撮像装置11の組み合わせとしてグループ化されていてもよい。このようにすることで、後述の処理において、様々な角度から撮影されたユーザの画像を用いてアバターを高精度に生成できるようになる。
また、撮像装置選択部142は、撮像装置11毎の性能情報(例えば、画像解像度を示す情報など)を用いて、ユーザの位置情報に対応する撮像装置11を更に絞り込むように構成されていてもよい。例えば、ユーザの位置情報に対応する撮像装置11として、複数台の撮像装置11が存在する場合において、撮像装置選択部142は、一定以上の性能(例えば、HD(High Definition)画質以上の解像度)を有する撮像装置11に絞って選択するように構成されていてもよい。性能の高い撮像装置11を選択することによって、後述の処理において、ユーザが写る画像を高精度に特定することが可能となる。また、撮像装置選択部142は、ユーザの位置情報に基づいて当該ユーザに最も近い場所に設置された撮像装置11を選択するように構成されていてもよい。
そして、対象画像抽出部143は、選択した撮像装置11により生成された画像(映像データ)を取得する。例えば、対象画像抽出部143は、S104の処理で選択された撮像装置11と通信し、その撮像装置11で生成された映像データを取得することができる。そして、対象画像抽出部143は、S106の処理で取得された画像(映像データ)を解析して、ユーザが写る対象画像を抽出する(S108)。ここで、撮像装置11により生成される映像データは、複数のフレーム画像によって構成されている。対象画像抽出部143は、複数のフレーム画像について、例えば後述するような解析処理を実行して、ユーザが写る対象画像を抽出する。
まず、対象画像抽出部143は、ユーザ情報取得部141により取得されたユーザ識別情報を用いて、画像の中からユーザを識別するための情報を読み出す。この「画像の中からユーザを識別するための情報」は、例えば、ユーザの顔画像から抽出可能な各種画像特徴量である。「画像の中からユーザを識別するための情報」は、例えばメモリ1430やストレージデバイス1440といった、対象画像抽出部143がアクセス可能な記憶領域に、各ユーザのユーザ識別情報と紐付けて予め記憶されている。一例として、ユーザ識別情報にユーザの顔画像が紐付けられている場合、対象画像抽出部143は、ユーザ識別情報に基づいて取得される顔画像を処理して、そのユーザに関する画像特徴量を取得することができる。他の一例として、ユーザ識別情報にユーザの顔画像が得られる各種画像特徴量が紐付けられている場合、対象画像抽出部143は、ユーザ識別情報に基づいて、そのユーザに関する画像特徴量を取得することができる。そして、対象画像抽出部143は、S106の処理で取得した画像の中から、ユーザに対応する領域(ユーザの画像特徴量と一定以上の類似性が認められる領域)を有する画像をユーザの画像特徴量を用いて検索する。対象画像抽出部143は、ユーザに対応する領域を有する画像が見つかった場合、当該画像を対象画像として抽出する。
ここで、対象画像抽出部143は、上述のユーザに対応する画像領域が所定の基準を満たす画像を、対象画像として抽出するように構成されていてもよい。例えば、対象画像抽出部143は、「ユーザに対応する領域のサイズが基準の大きさ以上である」、「ユーザに対応する領域にユーザの上半身までが含まれている」といった基準を満たす画像を、対象画像として抽出するように構成されていてもよい。このようにすることで、後述の処理において、ユーザの身体的特徴を精度よく抽出することができる。また、対象画像抽出部143は、ユーザが写っている画像をそのまま対象画像として抽出してもよいし、ユーザに対応する領域(画像内でユーザが写っている領域)のみを含む部分画像を対象画像として抽出してもよい。また、対象画像抽出部143は、対象画像について、様々な画像補正処理を施してもよい。ここで言う画像補正処理とは、例えば、色、明るさ、コントラストなどを調整する処理、ボケ除去処理、ブレ補正処理など、画質を良好にする処理全般のことを意味する。
S108の処理で「ユーザが写る画像」として抽出された対象画像は、そのユーザのユーザ識別情報(S102の処理で取得されたユーザ識別情報)と対応付けて、サーバ装置14からアバター生成装置13に送信される。画像取得部131は、サーバ装置14から送信された対象画像とユーザ識別情報とを取得する(S110)。
アバター生成部132は、S110で取得した対象画像に基づいて、ユーザのアバターデータを生成する(S112)。そして、アバター生成部132は、生成したアバターデータを、アバター記憶部12に記憶する(S114)。
<<アバター生成装置13の処理>>
以下、アバター生成装置13が対象画像に基づいてアバターを生成する処理の具体例について、図8を用いて説明する。図8は、アバター生成装置13が対象画像に基づいてアバターを生成する処理の流れを例示するフローチャートである。
まず、画像取得部131は、サーバ装置14から取得した、対象画像とその対象画像と対応するユーザ識別情報とを、例えば図9に示すように、所定の記憶部(例えば、ストレージデバイス1440など)に格納する(S202)。図9は、ユーザ別に対象画像を記憶する記憶部が保持する情報の一例を示す図である。図9に例示されるように、アバターを生成するために使用される対象画像は、ユーザ識別情報と対応付けてユーザ毎に保管される。
次いで、アバター生成部132は、対象画像と共に取得したユーザ識別情報を用いて、そのユーザ識別情報に対応するアバターデータが、アバター記憶部12(例:図10)において既に存在しているか否かを判定する(S204)。図10は、アバター記憶部12に記憶される情報の一例を示す図である。図10に例示されるアバター記憶部12には、「U002」のユーザのアバターデータのみが存在している。サーバ装置14から対象画像と共に取得したユーザ識別情報が「U002」以外である場合、アバター生成部132は、図10に例示される情報から、取得したユーザ識別情報に対応するアバターデータが存在していないと判断することができる。一方、サーバ装置14から対象画像と共に取得したユーザ識別情報が「U002」である場合、アバター生成部132は、図10に例示される情報から、取得したユーザ識別情報に対応するアバターデータが存在していると判断することができる。
ユーザ識別情報に対応するアバターデータがアバター記憶部12に存在していない場合(S204:NO)、アバター生成部132は、サーバ装置14から取得した対象画像を用いて、アバターデータを新規作成する。具体的には、アバター生成部132は、サーバ装置14から取得した対象画像を解析して、ユーザの身体的特徴(身長、体形、顔の部位の形状、肌の色など)を抽出する(S206)。
ここで、アバター生成部132は、取得された対象画像について、季節、気温、天候といった、ユーザが着用する衣服に関連する周辺情報を取得し、その周辺情報に基づいてユーザの身体的特徴を推定するように構成されていてもよい。具体的には、アバター生成部132は、ルールベースで予め定義された分類情報または機械学習により構築された分類情報に基づいて、ユーザの着用する衣服の特性(例えば、厚手/薄手など)を周辺情報から推定する。アバター生成部132は、画像を解析して得られるユーザの身体的特徴を、推定された衣服の特性に対応する値を用いて補正する。これにより、画像に写るユーザの外観からは解析できない、ユーザの真の身体的特徴を推定することができる。
なお、周辺情報は、例えばネットワーク上に存在する、図示しない他の装置によって管理されている。アバター生成装置13は、対象画像を生成した撮像装置11の設置位置に基づいて、周辺情報を上述の他の装置から取得することができる。また、サーバ装置14が、対象画像を生成した撮像装置11の設置位置に基づいて周辺情報を上述の他の装置から取得し、当該対象画像と周辺情報とを対応付けてアバター生成装置13に送信してもよい。
そして、アバター生成部132は、仮想空間上での3次元形状モデルを決定するデータ値をユーザの身体的特徴に基づいて設定し、アバターのデータを生成する(S208)。アバター生成部132は、S208の処理で生成されたアバターのデータを、例えば図11に示すように、対象画像と共に取得したユーザ識別情報と対応付けて、アバター記憶部12に新規登録する(S210)。図11は、アバター記憶部12の情報が更新される様子を示す図である。図11の例では、ユーザ識別情報「U001」によって識別されるユーザのアバターデータが新規に生成され、当該ユーザ識別情報「U001」と対応付けてアバター記憶部12に記憶される様子が描かれている。
一方、ユーザ識別情報に対応するアバターデータがアバター記憶部12に既に存在している場合(S204:YES)、アバター生成部132は、サーバ装置14から取得した対象画像を用いて、既存のアバターデータの更新処理を実行する(S212)。例えば、アバター生成部132は、サーバ装置14から取得した対象画像を用いてアバターデータを生成し直し、既存のアバターデータを新規のデータによって上書きするように構成されていてもよい。このとき、アバター生成部132は、対象画像と共に取得したユーザ識別情報に基づいて、当該ユーザ識別情報に紐付く過去の対象画像(例えば、1ヶ月前までの対象画像など)を読み出し、アバターを作成し直す際に利用してもよい。また、アバター生成部132は、サーバ装置14から取得した対象画像を用いて、既存のアバターデータの設定値を調整(既存のアバターをベースとして形状を変形)するように構成されていてもよい。
<第1の変形例>
図12は、第1実施形態の第1の変形例に係るアバター生成システム1の構成を例示する図である。図12に例示されるアバター生成システム1は、図2と同様に、アバター生成装置13およびサーバ装置14を含んで構成されている。
本図に例示される構成は、アバター生成装置13がサーバ装置14の代わりに対象画像抽出部133を備える点で、図2の構成と異なっている。
本変形例では、画像送信部144は、撮像装置選択部142により選択された撮像装置11の画像(映像データ)をそのままアバター生成装置13に送信する。このとき、画像送信部144は、ユーザ情報取得部141が取得したユーザ識別情報を、映像データと対応付けて送信する。
対象画像抽出部133は、画像取得部131により取得されたユーザ識別情報を用いて、画像の中からユーザを識別するための情報を読み出す。「画像の中からユーザを識別するための情報」は、例えばメモリ1330やストレージデバイス1340といった、対象画像抽出部133がアクセス可能な記憶領域に、各ユーザのユーザ識別情報と紐付けて予め記憶されている。一例として、ユーザ識別情報にユーザの顔画像が紐付けられている場合、対象画像抽出部133は、ユーザ識別情報に基づいて取得される顔画像を処理して、そのユーザに関する画像特徴量を取得することができる。他の一例として、ユーザ識別情報にユーザの顔画像が得られる各種画像特徴量が紐付けられている場合、対象画像抽出部133は、ユーザ識別情報に基づいて、そのユーザに関する画像特徴量を取得することができる。そして、対象画像抽出部133は、画像取得部131が取得した映像データの中から、ユーザに対応する領域(ユーザの画像特徴量と一定以上の類似性が認められる領域)を有する画像をユーザの画像特徴量を用いて検索する。対象画像抽出部133は、ユーザに対応する領域を有する画像が見つかった場合、当該画像を対象画像として抽出する。対象画像抽出部133は、当該対象画像を、画像取得部131が取得したユーザ識別情報と対応付けて所定の記憶部(例えば、ストレージデバイス1340など)に格納する。
アバター生成部132は、対象画像抽出部133により抽出された対象画像を用いて、アバターデータを生成する。そして、アバター生成部132は、生成したアバターデータを、画像取得部131が取得したユーザ識別情報と対応付けてアバター記憶部12に記憶する。
本変形例の構成によっても、上述と同様の効果を得ることができる。
<第2の変形例>
図13は、第1実施形態の第2の変形例に係るアバター生成システム1の構成を例示する図である。図13に例示されるアバター生成システム1は、図2と同様に、アバター生成装置13およびサーバ装置14を含んで構成されている。
本図に例示される構成は、アバター生成装置13がサーバ装置14の代わりに対象画像抽出部133およびユーザ情報取得部134を備える点で、図2の構成と異なっている。
本変形例では、まず、ユーザ情報取得部134が、ユーザ識別情報とユーザの位置情報をユーザ端末から取得する。ユーザ識別情報とユーザの位置情報は、例えばユーザ端末上にインストールされた専用のアプリケーションを介して、ユーザ端末からアバター生成装置13に向けて送信される。ユーザ端末は、例えば、ユーザ端末で専用のアプリケーションが起動されたタイミングでユーザ識別情報とユーザの位置情報をアバター生成装置13に送信してもよいし、バックグラウンド処理で定期的にユーザ識別情報とユーザの位置情報をアバター生成装置13に送信してもよい。また、アバター生成装置13が、専用のアプリケーションをインストールしているユーザ端末に対して、ユーザ識別情報およびユーザの位置情報の送信処理を実行する旨の要求を送信するように構成されていてもよい。この場合、当該アバター生成装置13からの要求に応じて、ユーザ端末が、ユーザ識別情報とユーザの位置情報とをアバター生成装置13に送信する。また、予め指定されたエリア(例えば、ユーザの自宅周辺から所定の範囲内に位置する商業施設など)内でのみ、ユーザ識別情報とユーザの位置情報とをアバター生成装置13に送信するように構成されていてもよい。この場合、ユーザ識別情報およびユーザの位置情報を送信する対象となるエリアを示す情報をユーザがユーザ端末上に予め登録しておく。ユーザ端末は、ユーザの位置情報と予め登録されたエリア情報とを比較して、ユーザ識別情報およびユーザの位置情報の送信要否を判断することができる。
ユーザ情報取得部134によりユーザ識別情報とユーザの位置情報が取得されると、画像取得部131は、サーバ装置14(撮像装置11により生成された画像を取得する外部装置)に対して処理実行要求を送信する。この処理実行要求には、サーバ装置14が撮像装置11を選択する処理に使用する情報として、ユーザの位置情報が含まれる。
処理実行要求がサーバ装置14により取得されると、撮像装置選択部142は、ユーザの位置情報に基づいて、撮像装置11を選択する。そして、画像送信部144は、撮像装置選択部142により選択された撮像装置11の画像(映像データ)を取得し、アバター生成装置13に送信する。
対象画像抽出部133は、ユーザ情報取得部134により取得されたユーザ識別情報を用いて、画像の中からユーザを識別するための情報を読み出す。「画像の中からユーザを識別するための情報」は、例えばメモリ1330やストレージデバイス1340といった、対象画像抽出部133がアクセス可能な記憶領域に、各ユーザのユーザ識別情報と紐付けて予め記憶されている。一例として、ユーザ識別情報にユーザの顔画像が紐付けられている場合、対象画像抽出部133は、ユーザ識別情報に基づいて取得される顔画像を処理して、そのユーザに関する画像特徴量を取得することができる。他の一例として、ユーザ識別情報にユーザの顔画像が得られる各種画像特徴量が紐付けられている場合、対象画像抽出部133は、ユーザ識別情報に基づいて、そのユーザに関する画像特徴量を取得することができる。そして、対象画像抽出部133は、画像取得部131が取得した映像データの中から、ユーザに対応する領域(ユーザの画像特徴量と一定以上の類似性が認められる領域)を有する画像をユーザの画像特徴量を用いて検索する。対象画像抽出部133は、ユーザに対応する領域を有する画像が見つかった場合、当該画像を対象画像として抽出する。対象画像抽出部133は、当該対象画像を、ユーザ情報取得部134が取得したユーザ識別情報と対応付けて所定の記憶部(例えば、ストレージデバイス1340など)に格納する。
アバター生成部132は、対象画像抽出部133により抽出された対象画像を用いて、アバターデータを生成する。そして、アバター生成部132は、生成したアバターデータを、画像取得部131が取得したユーザ識別情報と対応付けてアバター記憶部12に記憶する。
本変形例の構成によっても、上述と同様の効果を得ることができる。
<第3の変形例>
図14は、第1実施形態の第3の変形例に係るアバター生成システム1の構成を例示する図である。図14に例示されるアバター生成システム1は、図2と同様に、アバター生成装置13およびサーバ装置14を含んで構成されている。
本図に例示される構成は、アバター生成装置13がサーバ装置14の代わりにユーザ情報取得部134を備える点で、図2の構成と異なっている。
本変形例では、まず、ユーザ情報取得部134が、ユーザ識別情報とユーザの位置情報をユーザ端末から取得する。ユーザ識別情報とユーザの位置情報は、例えばユーザ端末上にインストールされた専用のアプリケーションを介して、ユーザ端末からアバター生成装置13に向けて送信される。ユーザ端末は、例えば、ユーザ端末で専用のアプリケーションが起動されたタイミングでユーザ識別情報とユーザの位置情報をアバター生成装置13に送信してもよいし、バックグラウンド処理で定期的にユーザ識別情報とユーザの位置情報をアバター生成装置13に送信してもよい。また、アバター生成装置13が、専用のアプリケーションをインストールしているユーザ端末に対して、ユーザ識別情報およびユーザの位置情報の送信処理を実行する旨の要求を送信するように構成されていてもよい。この場合、当該アバター生成装置13からの要求に応じて、ユーザ端末が、ユーザ識別情報とユーザの位置情報とをアバター生成装置13に送信する。また、予め指定されたエリア(例えば、ユーザの自宅周辺から所定の範囲内に位置する商業施設など)内でのみ、ユーザ識別情報とユーザの位置情報とをアバター生成装置13に送信するように構成されていてもよい。この場合、ユーザ識別情報およびユーザの位置情報を送信する対象となるエリアを示す情報をユーザがユーザ端末上に予め登録しておく。ユーザ端末は、ユーザの位置情報と予め登録されたエリア情報とを比較して、ユーザ識別情報およびユーザの位置情報の送信要否を判断することができる。
ユーザ情報取得部134によりユーザ識別情報とユーザの位置情報が取得されると、画像取得部131は、サーバ装置14(撮像装置11により生成される画像を取得する外部装置)に対して処理実行要求を送信する。この処理実行要求には、サーバ装置14が撮像装置11を選択する処理に使用する情報として、ユーザの位置情報が含まれる。また、この処理実行要求には、サーバ装置14が、選択した撮像装置11の映像データから対象画像を抽出する処理に使用する情報として、ユーザ識別情報が含まれる。ここで、画像取得部131は、ユーザの位置情報の履歴を示す情報(以下、「位置履歴情報」とも表記)を取得し、処理実行要求に含めてサーバ装置14に送信するように構成されていてもよい。このようにすることで、サーバ装置14が、ユーザの位置情報の継時的な変化に基づいて、撮像装置11を特定しやすくなる効果が期待できる。
処理実行要求がサーバ装置14により取得されると、撮像装置選択部142は、ユーザの位置情報に基づいて、撮像装置11を選択する。そして、対象画像抽出部143は、撮像装置選択部142により選択された撮像装置11の画像(映像データ)を取得する。
対象画像抽出部143は、処理実行要求に含まれるユーザ識別情報を用いて、画像の中からユーザを識別するための情報を読み出す。「画像の中からユーザを識別するための情報」は、例えばメモリ1430やストレージデバイス1440といった、対象画像抽出部143がアクセス可能な記憶領域に、各ユーザのユーザ識別情報と紐付けて予め記憶されている。一例として、ユーザ識別情報にユーザの顔画像が紐付けられている場合、対象画像抽出部143は、ユーザ識別情報に基づいて取得される顔画像を処理して、そのユーザに関する画像特徴量を取得することができる。他の一例として、ユーザ識別情報にユーザの顔画像が得られる各種画像特徴量が紐付けられている場合、対象画像抽出部143は、ユーザ識別情報に基づいて、そのユーザに関する画像特徴量を取得することができる。そして、対象画像抽出部143は、選択された撮像装置11から取得した映像データの中から、ユーザに対応する領域(ユーザの画像特徴量と一定以上の類似性が認められる領域)を有する画像をユーザの画像特徴量を用いて検索する。対象画像抽出部143は、ユーザに対応する領域を有する画像が見つかった場合、当該画像を対象画像として抽出する。対象画像抽出部143は、当該対象画像を、処理実行要求に含まれるユーザ識別情報と対応付けて所定の記憶部(例えば、ストレージデバイス1440など)に格納する。
そして、画像送信部144は、対象画像抽出部143により抽出された対象画像をアバター生成装置13に対して送信する。
画像取得部131は、処理実行要求に含めたユーザ識別情報およびユーザの位置情報を用いてサーバ装置14が抽出した対象画像を取得する。アバター生成部132は、サーバ装置14から取得した対象画像を用いて、アバターデータを生成する。そして、アバター生成部132は、生成したアバターデータを、ユーザ情報取得部134が取得したユーザ識別情報と対応付けてアバター記憶部12に記憶する。
本変形例の構成によっても、上述と同様の効果を得ることができる。
[第2実施形態]
本実施例では、第1実施形態で生成されたアバターデータを使ったサービスを提供する機能を更に含むアバター生成システム1について説明する。
<概要説明>
図15は、第2実施形態に係るアバター生成システム1を例示する図である。なお、図15に示されるように、本実施形態に係るアバター生成システム1は、第1実施形態の構成に加え、アバター取得部105、衣服データ取得部106および表示処理部107を更に含む。
アバター取得部105は、ユーザを指定する情報(以下、「ユーザ指定情報」とも表記)を取得する。そして、アバター取得部105は、取得したユーザ指定情報に基づいて、指定されたユーザのアバター(アバターデータ)をアバター記憶部12から取得する。衣服データ取得部106は、衣服を指定する情報(以下、「衣服指定情報」とも表記)を取得する。そして、衣服データ取得部106は、取得した衣服指定情報に基づいて、指定された衣服のモデルデータを取得する。各衣服のモデルデータは、衣服データ記憶部16に予め記憶されている。衣服データ記憶部16は、例えば、実店舗またはオンラインストアの管理担当者によって管理される。表示処理部107は、アバター取得部105により取得されたユーザのアバターと、衣服データ取得部106により取得された衣服のモデルデータと、を用いて、指定された衣服を着用させた状態のユーザのアバターの表示データを生成する。そして、表示処理部107は、生成した表示データを所定の表示装置17に出力する。
<作用・効果>
本実施形態では、第1実施形態で生成されたユーザのアバターを利用したバーチャルフィッティングサービスが提供される。第1実施形態の生成された、ユーザの身体的特徴を精度よく反映させた(そのユーザの実際の体形に近い)アバターを利用することによって、ユーザが実際に試着した場合と遜色なく目的の衣服を試すことができる。これにより、ユーザがより効率的にショッピングを楽しめるようになる。また、実店舗では、試着用の衣服を仮想空間上のデータで代用できるため、試着品の消耗を気にする必要がなくなる。また、試着室等のスペースの効率化や、店舗の回転率を向上させるといった効果も見込める。また、オンライストアでは、アバターを使って仮想空間上でよりリアルな装着感を表現できるため、顧客の購買意欲を向上させ、売り上げの増加が期待できる。
以下、本実施形態に係るアバター生成システム1について、より具体的な構成を例示して説明する。
<構成例>
図16は、第2実施形態に係るアバター生成システム1の構成を例示する図である。図16に例示されるアバター生成システム1は、アバター生成装置13、サーバ装置14、およびVF(Virtual Fitting)装置15を含んで構成されている。なお、本図の例において、衣服データ記憶部16はVF装置15とは別に設けられているが、これに限らず、衣服データ記憶部16はVF装置15に内蔵されていてもよい。
アバター生成装置13およびサーバ装置14は、第1実施形態で説明したように協働して、ユーザの位置情報に基づいて選択された撮像装置11の画像(映像データ)を用いて当該ユーザのアバターデータを生成してアバター記憶部12に記憶する。
また、図示されるようにVF装置15は、アバター取得部151、衣服データ取得部152、および表示処理部153を備える。
アバター取得部151は、図15を用いて説明した、アバター取得部105と同様である。アバター取得部151は、ユーザが使用するバーチャルフィッティング用端末18(例えば、スマートフォンやタブレット端末など)を介して、アバター指定情報を取得する。例えば、バーチャルフィッティング用端末18は、バーチャルフィッティングサービスの利用時に、ユーザのログイン情報の入力を要求し、アバター取得部151は、その際に入力されたユーザのログイン情報をアバター指定情報としてバーチャルフィッティング用端末18から取得する。ここで、ログイン時にユーザを識別する情報として利用される情報は、アバターの生成時に使用されたユーザ識別情報と同一である。アバター取得部151は、アバター指定情報(ユーザ識別情報)を取得すると、当該アバター指定情報に対応するアバターデータをアバター記憶部12から読み出す。アバター取得部151は、読み出したアバターデータを、表示処理部153に送信する。
衣服データ取得部152は、図15を用いて説明した、衣服データ取得部106と同様である。衣服データ取得部152は、アバター取得部151と同様に、バーチャルフィッティング用端末18を介して、衣服指定情報を取得する。例えば、衣服データ取得部152は、バーチャルフィッティング用端末18に備えられた1次元または2次元コードの読取装置(図示せず)を介して、対象の衣服を識別する情報を衣服指定情報として取得する。また、バーチャルフィッティング用端末18が、キーボード、マウス、タッチパネルといった入力装置(図示せず)を介して、衣服の製造番号や画面上の衣服の画像の選択入力を受け付け、衣服データ取得部152は、当該入力に基づく衣服指定情報を取得してもよい。衣服データ取得部152は、衣服指定情報をすると、衣服データ記憶部16にアクセスして当該衣服指定情報に対応する衣服のモデルデータを読み出す。衣服データ取得部152は、読み出した衣服のモデルデータを、表示処理部153に送信する。
表示処理部153は、図15を用いて説明した、表示処理部107と同様である。表示処理部153は、衣服データ取得部152から取得した衣服のモデルデータと、アバター取得部151から取得したアバターデータとを用いて、ユーザにより指定された衣服を着用した状態のユーザのアバターの表示データを生成する。表示処理部153は、生成した表示データを、バーチャルフィッティング用端末18に送信する。バーチャルフィッティング用端末18は、VF装置15から取得した表示データを基に、ユーザが指定した衣服を着用した状態のユーザのアバターを表示装置17上に表示させる。
また、表示処理部153は、バーチャルフィッティング用端末18の図示しない入力装置を介して、画面上に表示されるアバターの向きを変更する表示変更入力を受け付けるように構成されていてもよい。表示処理部153は、表示変更入力に応じてアバターの向きや表示倍率(サイズ)を変更した表示データを新たに生成し、バーチャルフィッティング用端末18に送信する。バーチャルフィッティング用端末18は、新たな表示データに基づいて、表示装置17上に表示されるアバターの向きやサイズを変更する。
また、表示装置17上にアバターを表示した後に、衣服データ取得部152が異なる衣服の衣服指定情報を更に受け付けてもよい。例えば、バーチャルフィッティング用端末18の図示しない入力装置で衣服の色を変更する入力が行われたり、バーチャルフィッティング用端末18の図示しない読取装置で他の衣服の2次元コードが読み込まれたりすると、その衣服の衣服指定情報が衣服データ取得部152に送信される。衣服データ取得部152は、新たに取得した衣服指定情報に基づいて、その衣服のモデルデータを衣服データ記憶部16から読み出し、表示処理部153に送信する。表示処理部153は、新たに取得した衣服のモデルデータを用いて、新たに指定された衣服を着用した状態のアバターの表示データを生成する。そして、表示処理部153は、新たに生成した表示データをバーチャルフィッティング用端末18に送信する。バーチャルフィッティング用端末18は、新たな表示データに基づいて、表示装置17上に表示されるアバターの衣服を変更する。
<VF装置15のハードウエア構成例>
VF装置15は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、VF装置15がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図17は、VF装置15のハードウエア構成を例示するブロック図である。
VF装置15は、バス1510、プロセッサ1520、メモリ1530、ストレージデバイス1540、入出力インタフェース1550、及びネットワークインタフェース1560を有する。
バス1510は、プロセッサ1520、メモリ1530、ストレージデバイス1540、入出力インタフェース1550、及びネットワークインタフェース1560が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1520などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1520は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1530は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1540は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1540はVF装置15の各機能(アバター取得部151、衣服データ取得部152、表示処理部153など)を実現するプログラムモジュールを記憶している。プロセッサ1520がこれら各プログラムモジュールをメモリ1530上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
入出力インタフェース1550は、VF装置15と図示しない周辺機器とを接続するためのインタフェースである。周辺機器は、例えば、キーボードやマウスなどの入力機器、ディスプレイ(タッチパネルディスプレイ)やスピーカーなどの出力機器、1次元または2次元のコードシンボルを読み取る読取装置などを含む。
ネットワークインタフェース1560は、VF装置15をネットワークに接続するためのインタフェースである。このネットワークは、例えばLAN(Local Area Network)やWAN(Wide Area Network)である。ネットワークインタフェース1560がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。VF装置15は、ネットワークインタフェース1460を介して、アバター記憶部12、アバター生成装置13、および衣服データ記憶部16などの外部装置と通信することができる。
なお、図17に例示される構成はあくまで一例であり、VF装置15を含むハードウエアの構成は図17の例に制限されない。
<処理の流れ>
図18および図19は、第2実施形態のVF装置15において実行される処理の流れを例示するフローチャートである。
まず、アバター取得部151が、バーチャルフィッティング用端末18の図示しない入力装置を介して入力された、ユーザを指定する情報(ユーザ指定情報)を取得する(S302)。アバター取得部151は、アバター記憶部12に記憶されているアバターデータの中から、取得したユーザ指定情報に対応するアバターデータを読み出す(S304)。
また、衣服データ取得部152が、バーチャルフィッティング用端末18の図示しない入力装置や読取装置などを介して入力された、ユーザのアバターに着用させる衣服を指定する情報(衣服指定情報)を取得する(S306)。衣服データ取得部152は、衣服データ記憶部16に記憶されている衣服のモデルデータの中から、取得した衣服指定情報に対応するモデルデータを読み出す(S308)。
そして、表示処理部153は、S304で読み出されたアバターデータと、S308で読み出された衣服のモデルデータとを用いて、当該衣服を着用した状態のアバターの表示データを生成する(S310)。表示処理部153は、表示データをバーチャルフィッティング用端末18に送信し、指定された衣服を着用した状態のアバターを表示装置17上に表示させる(S312)。
その後、VF装置15は、表示データの更新入力の有無を監視する(S314)。表示データの更新入力としてアバターの表示を変更する入力を受け付けた場合(S314:アバター表示変更入力)、表示処理部153は、受け付けた入力に応じてアバターの向きやサイズを変更した新たな表示データ(更新表示データ)を生成する(S316)。表示処理部153は、更新表示データをバーチャルフィッティング用端末18に送信し、表示装置17上に表示されているアバターの表示状態を変更する(S320)。また、表示データの更新入力としてアバターの着用する衣服を変更する入力を受け付けた場合(S314:着用衣服変更入力)、表示処理部153は、受け付けた入力(新たな衣服指定情報)に基づいて、新たな衣服のモデルデータを衣服データ記憶部16から読み出す。そして、表示処理部153は、新たに読み出された衣服のモデルデータを用いて、着用衣服を変更したアバターの新たな表示データ(更新表示データ)を生成する(S318)。表示処理部153は、更新表示データをバーチャルフィッティング用端末18に送信し、表示装置17上に表示されているアバターの表示状態を変更する(S320)。
<変形例>
本実施形態では、アバターを用いたバーチャルフィッティングサービスについて具体的に例示されたが、第1実施形態で生成されたアバターを利用するサービスはこれに限定されない。例えば、中古の衣服をユーザ同士で売買するサービスに、第1実施形態で生成されたアバターを活用できる。この場合、アバターの身体的特徴に基づいて体形の近いユーザ同士をマッチングさせることが可能となる。また例えば、仮想空間上での交流サービスに第1実施形態で生成されたアバターを使うことで、仮想空間上での交流をよりリアルに再現することが可能となる。
以上、図面を参照して本発明の実施の形態について述べたが、本発明はこれらに限定されて解釈されるべきものではなく、本発明の要旨を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、改良等を行うことができる。実施形態に開示されている複数の構成要素は、適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。
また、上述の説明で用いたフローチャートやシーケンス図では、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
ユーザを識別するユーザ識別情報と、当該ユーザの位置情報と、を取得するユーザ情報取得手段と、
前記ユーザの位置情報に基づいて、各々が互いに異なる場所に設置された複数の撮像装置の中から1台以上の撮像装置を選択する撮像装置選択手段と、
前記ユーザ識別情報を用いて、選択された前記1台以上の撮像装置により生成された画像の中から前記ユーザが写る対象画像を抽出する対象画像抽出手段と、
前記対象画像を処理することによって前記ユーザのアバターを生成するアバター生成手段と、
を備えるアバター生成システム。
2.
前記アバター生成手段により生成された前記アバターを、前記ユーザ識別情報と対応付けて記憶するアバター記憶手段を更に備える、
1.に記載のアバター生成システム。
3.
前記アバター生成手段は、前記ユーザ識別情報に対応するアバターが前記アバター記憶手段に既に記憶されている場合、前記対象画像を用いて前記アバター記憶手段に記憶されているアバターを更新する、
2.に記載のアバター生成システム。
4.
ユーザを指定する情報に基づいて当該ユーザのアバターを取得するアバター取得手段と、
衣服を指定する情報に基づいて前記衣服のデータを取得する衣服データ取得手段と、
前記アバター取得手段により取得された前記ユーザのアバター、および、前記衣服データ取得手段により前記衣服のデータを用いて、前記衣服を着用させた状態でアバターを表示装置に表示させる表示処理手段と、を更に備える、
1.から3.のいずれか1つに記載のアバター生成システム。
5.
前記対象画像抽出手段は、
前記ユーザ識別情報に紐付けられた前記ユーザの画像特徴量を取得し、
前記ユーザの画像特徴量を用いて、前記1台以上の撮像装置により生成された画像の中から前記対象画像を抽出する、
1.から4.のいずれか1つに記載のアバター生成システム。
6.
前記対象画像抽出手段は、前記ユーザに対応する画像領域が基準を満たす画像を、前記対象画像として抽出する、
1.から5.のいずれか1つに記載のアバター生成システム。
7.
ユーザが写る画像であって、予め決められた場所に設けられた撮像装置により生成された画像を取得する画像取得手段と、
前記画像を処理することによって前記ユーザのアバターを生成するアバター生成手段と、
を備えるアバター生成装置。
8.
前記ユーザを識別するユーザ識別情報と前記ユーザの位置情報とを取得するユーザ情報取得手段を更に備え、
前記画像取得手段は、
前記ユーザ識別情報および前記位置情報を、前記撮像装置により生成された画像を取得する外部装置に送信し、
前記外部装置によって前記ユーザ識別情報および前記位置情報を用いて抽出された、ユーザを含む画像を取得する、
7.に記載のアバター生成装置。
9.
前記ユーザ情報取得手段は、前記ユーザの位置情報の履歴を示す位置履歴情報を更に取得し、
前記画像取得手段は、前記位置履歴情報を前記外部装置に更に送信する、
8.に記載のアバター生成装置。
10.
ユーザを識別するユーザ識別情報と、当該ユーザの位置情報と、を取得するユーザ情報取得手段と、
前記ユーザの位置情報に基づいて、各々が互いに異なる場所に設けられた複数の撮像装置の中から1台以上の撮像装置を選択する撮像装置選択手段と、
前記ユーザ識別情報を用いて、選択された前記1台以上の撮像装置により生成された画像の中から前記ユーザが写る対象画像を抽出する対象画像抽出手段と、
前記対象画像を、当該対象画像を処理することによって前記ユーザのアバターを生成する装置に送信する画像送信手段と、
を備えるサーバ装置。
11.
少なくとも1つのコンピュータが、
ユーザを識別するユーザ識別情報と、当該ユーザの位置情報と、を取得し、
前記ユーザの位置情報に基づいて、各々が互いに異なる場所に設けられた複数の撮像装置の中から1台以上の撮像装置を選択し、
前記ユーザ識別情報を用いて、選択された前記1台以上の撮像装置により生成された画像の中から前記ユーザが写る対象画像を抽出し、
前記対象画像を処理することによって前記ユーザのアバターを生成する、
ことを含むアバター生成方法。
12.
前記コンピュータが、
生成された前記アバターを、前記ユーザ識別情報と対応付けてアバター記憶手段に記憶する、
ことを含む11.に記載のアバター生成システム。
13.
前記コンピュータが、
前記ユーザ識別情報に対応するアバターが前記アバター記憶手段に既に記憶されている場合、前記対象画像を用いて前記アバター記憶手段に記憶されているアバターを更新する、
ことを含む12.に記載のアバター生成方法。
14.
前記コンピュータが、
ユーザを指定する情報に基づいて当該ユーザのアバターを取得し、
衣服を指定する情報に基づいて前記衣服のデータを取得し、
取得された前記ユーザのアバター、および、取得された前記衣服のデータを用いて、前記衣服を着用させた状態でアバターを表示装置に表示させる、
ことを含む11.から13.のいずれか1つに記載のアバター生成方法。
15.
前記コンピュータが、
前記ユーザ識別情報に紐付けられた前記ユーザの画像特徴量を取得し、
前記ユーザの画像特徴量を用いて、前記1台以上の撮像装置により生成された画像の中から前記対象画像を抽出する、
ことを含む11.から14.のいずれか1つに記載のアバター生成方法。
16.
前記コンピュータが、
前記ユーザに対応する画像領域が基準を満たす画像を、前記対象画像として抽出する、
ことを含む11.から15.のいずれか1つに記載のアバター生成方法。
18.
少なくとも1つのコンピュータに、11.から16.のいずれか1つに記載のアバター生成方法を実行させるプログラム。
19.
コンピュータが、
ユーザが写る画像であって、予め決められた場所に設けられた撮像装置により生成された画像を取得し、
前記画像を処理することによって前記ユーザのアバターを生成する、
ことを含む備えるアバター生成方法。
20.
前記コンピュータが、
前記ユーザを識別するユーザ識別情報と前記ユーザの位置情報とを取得し、
前記ユーザ識別情報および前記位置情報を、前記撮像装置により生成された画像を取得する外部装置に送信し、
前記外部装置によって前記ユーザ識別情報および前記位置情報を用いて抽出された、ユーザを含む画像を取得する、
ことを含む19.に記載のアバター生成方法。
21.
前記コンピュータが、
前記ユーザの位置情報の履歴を示す位置履歴情報を更に取得し、
前記位置履歴情報を前記外部装置に更に送信する、
ことを含む20.に記載のアバター生成方法。
22.
コンピュータに、19.から20.のいずれか1つに記載のアバター生成方法を実行させるプログラム。
23.
コンピュータが、
ユーザを識別するユーザ識別情報と、当該ユーザの位置情報と、を取得し、
前記ユーザの位置情報に基づいて、各々が互いに異なる場所に設けられた複数の撮像装置の中から1台以上の撮像装置を選択し、
前記ユーザ識別情報を用いて、選択された前記1台以上の撮像装置により生成された画像の中から前記ユーザが写る対象画像を抽出し、
前記対象画像を、当該対象画像を処理することによって前記ユーザのアバターを生成する装置に送信する、
ことを含む画像送信方法。
24.
コンピュータに、23.に記載の画像送信方法を実行させるプログラム。
1 アバター生成システム
101 ユーザ情報取得部
102 撮像装置選択部
103 対象画像抽出部
104 アバター生成部
105 アバター取得部
106 衣服データ取得部
107 表示処理部
11 撮像装置
12 アバター記憶部
13 アバター生成装置
131 画像取得部
132 アバター生成部
133 対象画像抽出部
134 ユーザ情報取得部
1310 バス
1320 プロセッサ
1330 メモリ
1340 ストレージデバイス
1350 入出力インタフェース
1360 ネットワークインタフェース
14 サーバ装置
141 ユーザ情報取得部
142 撮像装置選択部
143 対象画像抽出部
144 画像送信部
1410 バス
1420 プロセッサ
1430 メモリ
1440 ストレージデバイス
1450 入出力インタフェース
1460 ネットワークインタフェース
15 VF装置
151 アバター取得部
152 衣服データ取得部
153 表示処理部
1510 バス
1520 プロセッサ
1530 メモリ
1540 ストレージデバイス
1550 入出力インタフェース
1560 ネットワークインタフェース
16 衣服データ記憶部
17 表示装置
18 バーチャルフィッティング用端末

Claims (6)

  1. ユーザを識別するユーザ識別情報と、当該ユーザの位置情報と、を取得するユーザ情報取得手段と、
    前記ユーザの位置情報に基づいて、各々が互いに異なる場所に設置された複数の撮像装置の中から1台以上の撮像装置を選択する撮像装置選択手段と、
    前記ユーザ識別情報を用いて、選択された前記1台以上の撮像装置により生成された画像の中から前記ユーザが写る対象画像を抽出する対象画像抽出手段と、
    前記対象画像を処理することによって前記ユーザのアバターを生成するアバター生成手段と、
    を備え
    前記アバター生成手段により生成された前記アバターを、前記ユーザ識別情報と対応付けて記憶するアバター記憶手段を更に備え、
    前記アバター生成手段は、前記ユーザ識別情報に対応するアバターが前記アバター記憶手段に既に記憶されている場合、前記対象画像を用いて前記アバター記憶手段に記憶されているアバターを更新するアバター生成システム。
  2. ユーザを指定する情報に基づいて当該ユーザのアバターを取得するアバター取得手段と、
    衣服を指定する情報に基づいて前記衣服のデータを取得する衣服データ取得手段と、
    前記アバター取得手段により取得された前記ユーザのアバター、および、前記衣服データ取得手段により取得された前記衣服のデータを用いて、前記衣服を着用させた状態でアバターを表示装置に表示させる表示処理手段と、を更に備える、
    請求項1に記載のアバター生成システム。
  3. 前記対象画像抽出手段は、
    前記ユーザ識別情報に紐付けられた前記ユーザの画像特徴量を取得し、
    前記ユーザの画像特徴量を用いて、前記1台以上の撮像装置により生成された画像の中から前記対象画像を抽出する、
    請求項1又は2に記載のアバター生成システム。
  4. 前記対象画像抽出手段は、前記ユーザに対応する画像領域が基準を満たす画像を、前記対象画像として抽出する、
    請求項1から3のいずれか1項に記載のアバター生成システム。
  5. 少なくとも1つのコンピュータが、
    ユーザを識別するユーザ識別情報と、当該ユーザの位置情報と、を取得し、
    前記ユーザの位置情報に基づいて、各々が互いに異なる場所に設けられた複数の撮像装置の中から1台以上の撮像装置を選択し、
    前記ユーザ識別情報を用いて、選択された前記1台以上の撮像装置により生成された画像の中から前記ユーザが写る対象画像を抽出し、
    前記対象画像を処理することによって前記ユーザのアバターを生成
    生成された前記アバターを、前記ユーザ識別情報と対応付けて記憶し、
    前記ユーザ識別情報に対応するアバターが既に記憶されている場合、前記対象画像を用いて記憶されているアバターを更新する、
    ことを含むアバター生成方法。
  6. 少なくとも1つのコンピュータに、請求項5に記載のアバター生成方法を実行させるプログラム。
JP2019008803A 2019-01-22 2019-01-22 アバター生成システム、アバター生成方法、およびプログラム Active JP7342366B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019008803A JP7342366B2 (ja) 2019-01-22 2019-01-22 アバター生成システム、アバター生成方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019008803A JP7342366B2 (ja) 2019-01-22 2019-01-22 アバター生成システム、アバター生成方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020119156A JP2020119156A (ja) 2020-08-06
JP7342366B2 true JP7342366B2 (ja) 2023-09-12

Family

ID=71890827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019008803A Active JP7342366B2 (ja) 2019-01-22 2019-01-22 アバター生成システム、アバター生成方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP7342366B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022050096A1 (ja) * 2020-09-02 2022-03-10 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
KR102467295B1 (ko) * 2020-09-23 2022-11-16 주식회사 넥스트키 얼굴 적용 기반의 의류착용 시스템 및 그 방법
WO2023218861A1 (ja) * 2022-05-12 2023-11-16 株式会社Nttドコモ シミュレーション装置
CN117274034A (zh) * 2022-06-14 2023-12-22 Oppo广东移动通信有限公司 虚拟形象生成方法、装置、电子设备及存储介质
JP7335669B1 (ja) 2023-06-23 2023-08-30 株式会社Vrc 情報処理システム、情報処理方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273522A (ja) 2000-03-23 2001-10-05 Ntt Comware Corp キャラクタ画像データ登録システムおよびその記録媒体
JP2001283024A (ja) 2000-03-31 2001-10-12 Hiroshi Fukuda 仮想店舗管理装置、仮想店舗管理方法および仮想店舗管理システムならびに情報記録媒体
JP2002024229A (ja) 2000-07-03 2002-01-25 Fuji Photo Film Co Ltd 本人画像提供システム
JP2015212965A (ja) 2015-07-03 2015-11-26 株式会社カプコン プログラム、および、当該プログラムを実行するコンピュータを備えた画像処理装置
JP2017176511A (ja) 2016-03-30 2017-10-05 株式会社バンダイナムコエンターテインメント 媒体データ生成システム
JP2018007828A (ja) 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント プログラム及び電子機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273522A (ja) 2000-03-23 2001-10-05 Ntt Comware Corp キャラクタ画像データ登録システムおよびその記録媒体
JP2001283024A (ja) 2000-03-31 2001-10-12 Hiroshi Fukuda 仮想店舗管理装置、仮想店舗管理方法および仮想店舗管理システムならびに情報記録媒体
JP2002024229A (ja) 2000-07-03 2002-01-25 Fuji Photo Film Co Ltd 本人画像提供システム
JP2015212965A (ja) 2015-07-03 2015-11-26 株式会社カプコン プログラム、および、当該プログラムを実行するコンピュータを備えた画像処理装置
JP2017176511A (ja) 2016-03-30 2017-10-05 株式会社バンダイナムコエンターテインメント 媒体データ生成システム
JP2018007828A (ja) 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント プログラム及び電子機器

Also Published As

Publication number Publication date
JP2020119156A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
JP7342366B2 (ja) アバター生成システム、アバター生成方法、およびプログラム
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN113487742A (zh) 用于生成三维模型的方法和系统
US20120095589A1 (en) System and method for 3d shape measurements and for virtual fitting room internet service
EP2786353A1 (en) Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN111787242A (zh) 用于虚拟试衣的方法和装置
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
KR20170134513A (ko) 오브젝트를 표시하는 방법
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN108134945B (zh) Ar业务处理方法、装置及终端
CN111638797A (zh) 一种展示控制方法及装置
US20230334803A1 (en) Image processing method, recording medium, and image processing system
CN113192164A (zh) 虚拟形象随动控制方法、装置、电子设备和可读存储介质
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
WO2019000464A1 (zh) 一种图像显示方法、装置、存储介质和终端
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN112102018A (zh) 智能试衣镜实现方法及相关装置
JP6806955B1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2007102478A (ja) 画像処理装置、画像処理方法、及び半導体集積回路
CN113468250A (zh) 热力图生成方法、装置、设备及存储介质
US11127218B2 (en) Method and apparatus for creating augmented reality content
CN114219578A (zh) 无人服装售卖方法、装置、终端及存储介质
CN113946221A (zh) 眼部驱动控制方法和装置、存储介质及电子设备
JP7367383B2 (ja) 画像認識アプリケーション構築支援システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230629

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230814

R151 Written notification of patent or utility model registration

Ref document number: 7342366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151