JP5605885B1 - 仮想試着システムおよび仮想試着プログラム - Google Patents

Abstract

【課題】３次元的な仮想試着技術において、動作の自由度を高める。
【解決手段】試着者情報を取得する試着者情報取得部２２と、モーションデータを取得するモーションデータ取得部２３と、モーションデータ中の特徴点と、試着者の３次元体型データに設定された特徴点との位置関係に基づいて、モーションデータを試着者の３次元体型データに適合するように変形するモーションデータ変形部２５と、変形されたモーションデータに基づいて、試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成部２６と、衣服データを取得する衣服データ取得部２４と、衣服データに基づいて、動作体型データの各時刻の３次元体型データに衣服を着せ付けた試着画像を生成する試着画像生成部２７と、を備える。
【選択図】図２

Description

本発明は、仮想的に衣服を試着する仮想試着技術に関する。

近年のインターネットや携帯電話網（以下、通信回線と総称する）の発展に伴い、通信回線を介した買い物（以下、インターネットショッピングと称する）が盛んになっている。一般的に、インターネットショッピングでは、ユーザが、画面上に表示された複数の商品から所望の商品を選択し、選択された商品が発注される。

このようなインターネットショッピングを利用すれば、ユーザは商品が販売されている店舗に出かけることなく、買い物を行うことができる。そのため、ユーザは実物の商品を見ることなく買い物を行う。

一方、衣服等を購入する際には、その衣服が自分に似合っているか、他の衣服とのコーディネート等を確認するために、試着が行われることが多い。しかしながら、インターネットショッピングでは、当然ながら試着を行うこができない。そのため、衣服を購入してから、購入を後悔する場合も見られる。このような問題を解決するために、仮想試着技術が提案されている。

特許文献１では、撮影された利用者の画像から体型代表点を設定し、体型代表点に基づいて服描画用データを利用者の体型に合うように加工し、加工した服描画用データを利用者の画像に重ね合わせて表示している。また、特許文献２では、被写体画像から、被写体の正面および側面の体型を特徴付ける第１および第２の特徴点を抽出し、商品画像から商品の形態を特徴付ける第３特徴点を抽出し、これらの特徴点に基づいて被写体画像に商品画像を合成している。

一方、特許文献３では、人体に取り付けられたマーカの状態に基づいて服飾データをスケーリングし、表示している。また、特許文献４では、衣服の３次元形状等を含む衣服データと、試着者の３次元体型データと、試着者の複数の姿勢データと、を記憶し、試着者の動画像の各画像における試着者の姿勢データを推定し、姿勢データから時系列姿勢データを生成し、時系列姿勢データ等に基づいて衣服の動きを推定し、推定された衣服の動きに基づいて生成された衣服の画像データを動画中の試着者に合成している。

特開２００４−０８６６６２号公報 特開２００５−２１６０９４号公報 特開２００５−２５６２３２号公報 特開２００６−２４９６１８号公報

これらの特許文献の技術を用いれば、仮想的な衣服の試着を行うことができる。しかしながら、特許文献１，２では、試着者の２次元画像に、衣服の２次元画像を合成しているため、固定的な視点からの確認ができるのみであり、異なる視点からの確認をすることができない。これに対して、特許文献３，４では、３次元的に仮想試着が行われているため、異なる視点からの確認を行うことができる。しかしながら、特許文献３，４では、予め取得しておいた試着者自身の動作に基づいた試着状態を確認することができるに過ぎないため、動作の自由度が低く、十分な試着状態を確認することができない。

本発明は上記課題に鑑みてなされたものであり、その目的は、３次元的な仮想試着技術において、動作の自由度を高めることにある。

本発明の仮想試着システムの好適な実施形態の一つでは、試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を記憶する試着者情報記憶部と、各時刻における人体の特徴点の３次元的な位置を示すモーションデータを記憶するモーションデータ記憶部と、衣服の形状データを含む衣服データを記憶する衣服データ記憶部と、前記試着者情報を取得する試着者情報取得部と、前記モーションデータを取得するモーションデータ取得部と、各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形部と、変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成部と、前記衣服データ記憶部から前記衣服データを取得する衣服データ取得部と、前記衣服データに基づいて、前記動作体型データの各時刻の前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成部と、を備えている。

この構成では、モーションデータが試着者の３次元体型データに適合するように変形され、変形されたモーションデータと３次元体型データとに基づいて動作体型データが生成される。そのため、モーションデータをモデル等の動作に基づいて生成しておけば、試着者自身がその動作を行った動作体型データを生成することができる。また、このような動作体型データに対して衣服の３次元形状データを仮想的に着せ付けるため、試着者自身が所定の動作を行っている際の試着状態を確認することができる。すなわち、この構成では、モーションデータを第三者の動作から生成しておくことができるため、様々な動作状態における試着状態を確認することができる。

モーションデータの変形処理は様々な方法を用いることができるが、本発明の仮想試着システムの好適な実施形態の一つでは、前記モーションデータ変形部は、前記試着者の３次元体型データに設定された特徴点のうちの隣接する特徴点間の距離に基づいて、対応する前記モーションデータの特徴点の位置を移動させる。

本発明の仮想試着システムの好適な実施形態の一つでは、前記試着者情報は、前記試着者が前記試着画像の生成操作を許可した被許可者の識別情報を含み、利用者の識別情報を取得する識別情報取得部と、前記利用者の識別情報が前記被許可者の識別情報として含まれている前記試着者情報に対してのみ前記試着画像の生成操作を許容するように制御する制御部を備えている。

この構成では、仮想試着システムの利用者が、第三者の試着画像の生成操作を行うことができる。ただし、利用者が試着者から試着画像の生成操作を許可されている場合にのみ操作が許容されるため、不特定の第三者の試着画像の生成を防止することができる。

本発明の仮想試着システムの好適な実施形態の一つでは、同一のグループに属する前記試着者の情報を規定するグループ情報を記憶するグループ情報記憶部を備え、前記試着者情報取得部は、前記同一のグループに属する前記試着者の前記試着者情報を取得し、前記モーションデータには複数人の動作が規定され、前記試着画像生成部は、前記同一のグループに属する試着者の仮想的な試着状態が含まれた前記試着画像を生成する。

この構成では、単一の試着画像に複数の試着者の仮想的な試着状態を含めることができる。これにより、複数人のトータルコーディネート等を確認することができる。

本発明の、試着者に仮想的に衣服を試着させる仮想試着システムのための仮想試着プログラムの好適な実施形態の一つでは、試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を記憶する試着者情報記憶部から、当該試着者情報を取得する試着者情報取得機能と、各時刻における人体の特徴点の３次元的な位置を示すモーションデータを記憶するモーションデータ記憶部から、当該モーションデータを取得するモーションデータ取得機能と、各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形機能と、変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成機能と、衣服の形状データを含む衣服データを記憶する衣服データ記憶部から、当該衣服データを取得する衣服データ取得機能と、前記衣服データに基づいて、前記動作体型データの各フレームの前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成機能と、をコンピュータに実現させる。当然ながら、このような仮想試着プログラムに対しても上述の仮想試着システムの付加的な特徴構成を付加することができ、同様の作用効果を奏する。

仮想試着システムの構成図である。 実施例１，２における仮想試着システムの機能ブロック図である。 サーバに記憶されているデータの構成を表す図である。 実施例１における仮想試着システムの処理の流れを表すフローチャートである。 仮想試着に用いるデータの選択画面の例である。 特徴点のグラフ構造を表す図である。 実施例３における仮想試着システムの機能ブロック図である。 実施例３における試着者情報およびグループ情報の例である。

以下に図面を用いて、本発明に係る仮想試着システムの実施形態を説明する。仮想試着システムは、３次元の体型データに対して３次元形状を有する衣服を仮想的に着せ付けた画像を生成するものである。以下の説明では詳述はしないが、このような仮想試着システムは、衣服のインターネット販売システムの一部として構成することができる。例えば、上述の仮想試着システムを用いて試着をし、気に入った衣服に対する発注データを受注サーバ（図示せず）に送信するように構成すれば、インターネット通信販売システムを構築することができる。このようなインターネット通信販売システムを用いることにより、実在の店舗に出向くことなく、衣服を購入することができる。そのため、実際の店舗に出向くことが面倒または困難な人であっても、衣服を購入することができる。

図１および図２は、本実施例における仮想試着システムの構成図および機能ブロック図である。図に示すように、本実施例における仮想試着システムは、サーバＳと通信端末ＴとがネットワークＮを介して接続されている。サーバＳは汎用コンピュータで構成されている。一方、通信端末Ｔは、汎用のコンピュータで構成することも可能であるが、本実施例では、いわゆるスマートホンやタブレット型コンピュータ等のポータブル型のネットワーク機器によって構成している。したがって、本実施例では、通信端末ＴからネットワークＮへの接続は、ＷｉＦｉもしくは携帯電話網が使用される。また、本実施例では、ネットワークＮはインターネットを利用するが、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を利用しても構わない。

〔管理サーバ〕
管理サーバＳは、試着者情報記憶部１１，モーションデータ記憶部１２，衣服データ記憶部１３，認証部１４を備えている。図３にこれらの記憶部に記憶されている各データ（試着者情報，モーションデータ，衣服データ）の構成を示している。本実施形態では、各記憶部は、ハーディスク等の不揮発性記憶媒体およびＤＢＭＳ（ＤａｔａＢａｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）から構成されているが、ＤＢＳＭは必ずしも必要ではない。また、本実施形態では、これらの記憶部を単一のサーバＳ上に構成しているが、これらを複数のサーバに分散配置しても構わない。特に、後述するように、試着者情報記憶部１１には試着者（顧客）毎の情報が記憶されるため、試着者情報記憶部１１を既存の顧客情報管理データベースを用いて構成すれば、二重管理の煩雑さを解消することができる。

試着者情報記憶部１１には、試着者（顧客）毎の試着者情報が記憶されている。本実施形態では、試着者情報には、試着者を特定可能な識別情報（以下、試着者ＩＤと称する），その試着者の３次元体型データ，その３次元体型データ上の特徴点の位置情報（以下、特徴点位置情報と称する）が含まれている（図３参照）。

試着者ＩＤは、試着者を一意に特定可能な情報であればよく、特に、顧客情報管理データベースを利用する場合には、顧客ＩＤとすることもできる。３次元体型データは試着者の身体の３次元の形状データであり、いわゆるボディスキャナ等で測定することができる。また、特徴点は、身体上の点のうち、歩行等の身体の動きに応じて位置等が変化する点や、衣服データを仮想的に着せ付ける際に使用する点であり、例えば、特許文献２に記載されているような点を用いることができる。この特徴点の設定は、３次元体型データを取得した際に自動的に行っても構わないし、取得した３次元体型データをディスプレイに表示し、オペレータが手動で設定しても構わない。また、自動設定した特徴点位置をオペレータが修正するようにしても構わない。

特徴点位置情報は、このような複数の特徴点のそれぞれの３次元座標である。この際の原点は、任意の位置を用いることができる。例えば、任意に設定されたワールド座標系の原点を用いてもよいし、特徴点の一つを原点とすることもできる。

なお、３次元体型データを取得する際に、顔の画像を取得しておき、試着画像を生成する際に３次元体型データにマッピングすると好ましい。また、一般的には、被測定者は裸体または下着やレオタード等のボディーラインが明確となる衣服を着用して３次元体型データを測定するが、仮想試着を行う衣服と同時に着用したい衣服を着用して測定しても構わない。この場合には、着用している衣服の画像を取得しておき、試着画像を生成する際にその衣服の画像を３次元データにマッピングすることが好ましい。これにより、既存の衣服と仮想的な衣服データとのコーディネートを確認することができる。

モーションデータ記憶部１２には、複数のモーションデータが記憶されている。各モーションデータには、各々のモーションデータを一意に特定可能な識別情報（以下、モーションＩＤと称する），特徴点移動情報，説明文が含まれている（図３参照） 。特徴点移動情報は、身体がある一連の動作を行った際の各時刻における各特徴点の移動状態を示すものである。なお、モーションデータで用いられている特徴点は、試着者情報で用いられている特徴点に対応している。モーションデータは、例えば、モデルの特徴点位置にマーカを取り付け、モデルが所定の動作を行う際に、そのマーカの３次元位置として取得することができる。

本実施形態における特徴点移動情報は、各時刻における各特徴点の座標を用いる。例えば、時刻ｔ_ｊにおける特徴点ｐ_ｉの座標をｐ_ｉ（ｔ_ｊ）＝（ｘ_ｉ（ｔ_ｊ），ｙ_ｉ（ｔ_ｊ），ｚ_ｉ（ｔ_ｊ））と表すと、特徴点移動情報は
｛ｊ∈｛０，・・・，τ｝：｛ｉ∈｛１，・・・，Ｍ｝：ｐ_ｉ（ｔ_ｊ）｝｝
となる。ここで、Ｍは特徴点の数であり、τはモーションデータの時間長さである。なお、特徴点移動情報の表現方法はこれに限定されるものではなく、他の表現方法を用いても構わない。例えば、時刻０における特徴点の座標と、各々の特徴点の前時刻からの移動ベクトルを用いることもできる。

説明文は、各モーションデータがどのような動作であるかを簡潔に表す文字情報であり、モーションデータの選択の際に仮想試着システムの利用者に提示される。また、モーションＩＤは各モーションデータ固有の値であるため、モーションＩＤをキーとしてモーションデータを検索することができる。

なお、モーションデータは、任意の人物の動作から生成することができる。すなわち、モデルの動作から生成することもできるし、試着者自身の動作から生成することもできる。本実施形態では、モーションデータは試着者以外のモデルの動作から生成されている。

衣服データ記憶部１３には、複数の衣服データが記憶されている。衣服データには、各衣服データを一意に特定可能な識別情報（以下、衣服ＩＤと称する），衣服の３次元形状データが含まれている。本実施形態では、色や模様は、各形状データのサブデータとして登録されている。そのため、衣服データはさらに色模様ＩＤとサムネイル画像とを含んでいる。色模様ＩＤは、色や模様を特定するための識別情報である。そのため、衣服ＩＤをキーとして衣服データを検索した際には、複数の色や模様を有する衣服データが取得される場合がある。このとき、色や模様までを限定した衣服データを取得したい場合には、衣服ＩＤと色模様ＩＤとを検索キーとすれば良い。サムネイル画像は、その３次元形状データの衣服に、その色や模様を付した際の画像データである。

認証部１４は、後述する通信端末Ｔの識別情報取得部２１が取得した利用者の識別情報を用いて認証を行う。具体的には、認証部１４は、その識別情報と一致する試着者ＩＤを有する試着者情報が試着者情報記憶部１１に記憶されているか否かを判定し、認証を行う。なお、識別情報取得部２１がパスワード等の認証情報も取得している場合には、識別情報と認証情報との対が試着者情報記憶部１１に記憶されているか否かに基づいて認証を行う。認証部１４は、認証結果を通信端末Ｔの制御部２０に通知し、制御部２０は認証が成功した場合にのみ試着操作を許容するように通信端末Ｔを制御する。

〔通信端末〕
通信端末Ｔは、制御部２０，識別情報取得部２１，試着者情報取得部２２，モーションデータ取得部２３，衣服データ取得部２４，モーションデータ変形部２５，動作体型データ生成部２６，試着画像生成部２７を備えている。本実施形態では、これらの機能部は、通信端末Ｔに読み込まれた本発明に係るプログラムとＣＰＵとが協働することによって構成されるが、ハードウェアまたは、ハードウェアとソフトウェアとによって構成しても構わない。

制御部２０は、各機能部の作動時期の調整をはじめとして、通信端末Ｔ全体の処理の流れを制御する。

識別情報取得部２１は、ＧＵＩを介して利用者の識別情報を取得し、サーバＳの認証部１４に送信する。具体的には、識別情報取得部２１は、通信端末ＴのディスプレイＤに顧客ＩＤ等の識別情報を入力するフォームを表示し、利用者がタッチパネルＴＰを操作して入力した識別情報を取得する。このとき、識別情報だけでなく、パスワード等の認証情報を取得するように構成すれば、セキュリティを高めることができる。識別情報取得部２１によって取得された利用者の識別情報は認証部１４に送られる。

なお、通信端末Ｔが自身の端末識別情報を有している場合には、試着者ＩＤを通信端末Ｔの端末識別情報としておき、識別情報取得部２１は、利用者から識別情報を取得することなく、自身の端末識別情報をサーバＳの認証部１４に送信するように構成することもできる。これにより、利用者の利便性を高めることができる。

試着者情報取得部２２は、識別情報取得部２１が取得した識別情報をキーとして、サーバＳの試着者情報記憶部１１から、認証が成功した利用者の試着者情報を取得する。したがって、本実施例においては、利用者と試着者とは同一となる。

モーションデータ取得部２３は、サーバＳのモーションデータ記憶部１２からモーションデータを取得する。モーションデータの取得の方法としては、任意のタイミングで全てのモーションデータを取得することもできるし、モーションＩＤを指定し、そのモーションＩＤを持つモーションデータのみを取得することもできる。ただし、後者の場合であっても、全モーションデータのモーションＩＤと説明文は予め取得しておくことが望ましい。

衣服データ取得部２４は、サーバＳの衣服データ記憶部１３から衣服データを取得する。衣服データの取得もモーションデータの取得と同様に、任意のタイミングで、任意のデータを取得することができる。ただし、全衣服データのうち、衣服ＩＤと各々の衣服ＩＤに関連付けられている少なくとも一つのサムネイル画像を予め取得しておくことが望ましい。これにより、全衣服のサムネイル画像を利用者に提示することができる。

モーションデータ変形部２５は、モーションデータ中の特徴点と利用者（試着者）の３次元体型データ中の特徴点とに基づいて、モーションデータの変形を行い、変形モーションデータを生成する。換言すると、モーションデータ変形部２５は、モーションデータを利用者の体型に適合させた変形モーションデータの生成処理を行う。具体的な処理は後述する。

動作体型データ生成部２６は、変形モーションデータと３次元体型データとを用いて、動作体型データを生成する。動作体型データは、利用者の３次元体型データを、変形モーションデータに応じて動かした時系列データである。

試着画像生成部２７は、動作体型データに対して、衣服を着せ付けた画像（以下、試着画像と称する）を生成する。具体的には、試着画像生成部２７は、選択された衣服データの３次元形状データを動作体型データに適合させた３次元形状を生成し、その３次元形状を任意の視点から見た２次元画像列を生成する。

以下に、図４のフローチャートを用いて本実施例における仮想試着システムの処理の流れを説明する。なお、上述したように、モーションデータと衣服データの取得は任意であるため、以下の処理に先立って、モーションデータ取得部２３および衣服データ取得部２４によって取得されているものとする。

利用者がタッチパネルＴＰを介して、仮想試着システム用のアイコンをタッチすると、仮想試着システムのためのプログラムがロードおよび起動され、以下の処理が実行される。

制御部２０は、ディスプレイＤ上に、利用者（試着者）の識別情報を入力するフォームを表示する。それに対して利用者は、タッチパネルＴＰを操作して、識別情報を入力する。入力された識別情報は識別情報取得部２１によって取得される（＃０１）。識別情報取得部２１によって取得された識別情報は、サーバＳの認証部１４に送信される。

識別情報を取得した認証部１４は、利用者の認証を行う（＃０２）。具体的には、認証部１４は、サーバＳの試着者情報記憶部１１にアクセスし、取得した識別情報と同じ試着者ＩＤが登録されているか否かを判定する。試着者情報記憶部１１に、取得した識別情報と同じ試着者ＩＤが登録されていれば、認証部１４は認証が成功した旨を制御部２０に通知する（＃０２のＹｅｓ分岐）。一方、取得した識別情報と同じ試着者ＩＤが登録されていなければ、認証部１４は認証が失敗した旨を制御部２０に通知する（＃０２のＮｏ分岐）。

認証が成功すると、制御部２０は試着者情報取得部２２に対して、サーバＳの試着者情報記憶部１１から、認証が成功した利用者（＝試着者）の試着者情報を取得するよう指示する。指示を受けた試着者情報取得部２２は、識別情報取得部２１によって取得された識別情報を検索キーとして、試着者情報記憶部１１から試着者情報を取得する（＃０３）。

次に、制御部２０は、利用者に仮想試着に用いるデータを選択させるために、図５に示すデータ選択画面３０をディスプレイＤに表示する。データ選択画面３０には、衣服の種類を選択するための衣服選択メニュー３１，動作を選択するための動作選択メニュー３２が含まれている。これらのメニューはプルダウンメニューとして構成することができ、図５では両方ともメニューが開いた状態で表されている。また、データ選択画面３０には、複数の衣服のサムネイル画像３３が含まれている。

本実施形態では、衣服は衣服ＩＤの先頭文字によって種類が決定されている。例えば、衣服ＩＤが１［０−９］＋であればティーシャツ，２［０−９］＋であればブラウス，３［０−９］＋であればジーンズ等となっている。利用者がタッチパネルＴＰを介して衣服選択メニュー３１を操作して、ティーシャツを選択した場合には、制御部２０は、衣服ＩＤ＝１［０−９］＋の衣服データを選択し、選択された衣服データに含まれているサムネイル画像をディスプレイＤに一覧表示する。当然ながら、仮想試着システムで使用可能な衣服の種類はこれらに限定されるものではなく、着物，水着，下着等であっても構わない。なお、上述したように、本実施形態における衣服データには色（模様）違いのサムネイル画像が含まれている場合がある。その場合には、色（模様）違いのサムネイル画像は同時には表示せず、代表的な（例えば、色模様ＩＤが最小のもの）サムネイル画像のみを表示し、色（模様）違いの衣服があることを示す表示を行うことが好ましい。

このように表示された複数のサムネイル画像３３に対して、利用者はタッチタネルＴＰを操作して一つのサムネイル画像３３をタッチし、所望の衣服を選択する（＃０４）。選択されたサムネイル画像３３は、選択衣服表示領域３７に表示される。

また、利用者は、タッチパネルＴＰを操作して、ひとつの動作を選択する（＃０５）。図の例では、ウォーキングが選択されている。

利用者は、衣服および動作の選択が完了すると、タッチパネルＴＰを操作して試着ボタン３５をタッチする。制御部２０は試着ボタン３５のタッチを検知すると、以下の仮想試着処理を実行させる。なお、本実施形態では、複数の衣服を重ね着することが可能となっている。例えば、ティーシャツとジーンズとを仮想試着することができる。この場合には、例えば、ティーシャツのサムネイル画像３３を選択した状態で、重ね着ボタン３４をタッチし、衣服選択メニュー３１からジーンズを選択し、ジーンズのサムネイル画像３３を選択する。その後、試着ボタン３５をタッチする。当然ながら、重ね着の数は２よりも多くても構わず、重ね着数が多くなっても選択された各々のサムネイル画像が選択衣服表示領域３７に表示されるため、利用者は選択した衣服を容易に確認することができる。

試着ボタン３５がタッチされると、制御部２０は、選択された動作に関連付けられているモーションＩＤをモーションデータ変形部２５に通知する。通知を受けたモーションデータ変形部２５では、通知されたモーションＩＤを持つモーションデータの変形を行う（＃０６）。換言すると、モーションデータ変形部２６は、モーションデータ中の特徴点と、試着者の３次元体型データに設定された特徴点との位置関係に基づいて、モーションデータを試着者の３次元体型データに適合する処理を行う。具体的には以下の処理が行われる。

本実施形態の特徴点は、図６に示すようにグラフ構造で表現されている。すなわち、特徴点がノードであり、各ノードは隣接する特徴点に対するエッジを有している。図６(a)および（ｂ）は、３次元体型データに設定された特徴点のグラフ構造の一部分およびそれに対応する一時刻のモーションデータに設定された特徴点のグラフ構造の一部分を示している。本実施形態では、簡単化するために、各ノードは隣接ノードと１または２のエッジで連結されているが、より多くのエッジで隣接するようにしても構わない。例えば、ノードＮ１はエッジＥ１およびＥ３によってノードＮ２およびＮ４と連結している。一方、ノードＮ３はエッジＥ２によってノードＮ２と連結している。なお、各ノードＮｉおよびｎｉはそれぞれ３次元座標Ｐ_ｉ（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）およびｐ_ｉ（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）を有している。

モーションデータ変形部２５は、図６（ａ）のグラフ構造を用いて、図６（ｂ）のグラフ構造を変形することにより、モーションデータを試着者の３次元体型データに適合させる。まず、モーションデータ変形部２５は、３次元体型データのグラフ構造から一つのノードを選択し、モーションデータのグラフ構造からそのノードに対応するノードを選択する。以下、この選択されたノードを基準ノードと称する。例えば、３次元体型データからノードＮ１を選択すると、モーションデータからはノードｎ１が選択される。

次に、基準ノードに隣接するノード（以下、隣接ノードと称する）を順次選択する。ここでは、まずノードＮ２とそれに対応するノードｎ２を隣接ノードとする。そして、基準ノードと隣接ノードとの距離を求める。３次元体型データでは、基準ノードＮ１と隣接ノードＮ２との距離（エッジＥ１の長さ）Ｌ_１は、
Ｌ_１＝｛（Ｘ_２−Ｘ_１）^２＋（Ｙ_２−Ｙ_１）^２＋（Ｚ_２−Ｚ_１）^２）｝^１／２
となる。一方、モーションデータでは、基準ノードｎ１と隣接ノードｎ２との距離（エッジｅ１の長さ）ｌ_１は、
ｌ_１＝｛（ｘ_２−ｘ_１）^２＋（ｙ_２−ｙ_１）^２＋（ｚ_２−ｚ_１）^２）｝^１／２なる。

次に、モーションデータ変形部２５は、エッジｅ１の長さがエッジＥ１の長さと同じになるように、ノードｎ２すなわち特徴点ｐ_２をｐ_２’に移動させる。具体的には、
ｐ_２’＝（ｘ_２，ｙ_２，ｚ_２）×Ｌ_１／ｌ_１
となる。

なお、このノードｎ２（特徴点ｐ_２）の移動に伴い、ノードｎ２に直接的または間接的に繋がっているノード（特徴点）も同様に移動する。すなわち、ノードｎ３はノードｎ２と同じだけ並行移動する。

次に、モーションデータ変形部２６は、隣接ノードを基準ノードに設定し、上述と同様の処理を行う。すなわち、ノードＮ２およびノードｎ２を基準ノードとし、ノードｎ３（特徴点ｐ_３）を移動させる。基準ノードの隣接ノードがなくなるまで、この処理を再帰的に行う。

また、基準ノードｎ１に隣接するもう一つのノードｎ４に対してもノードｎ２と同様の処理が行われる。さらに、各時刻のモーションデータに対して、この処理が行われる。

上述の処理により、試着者の３次元体型データの隣接する特徴点間の長さに基づいて、モーションデータの特徴点の位置が変更され、モーションデータを試着者の３次元体型データに適合させることができる。モーションデータの変形処理はこれに限定されるものではなく、他の方法を用いても構わない。

モーションデータが試着者の動作から生成されている場合には、モーションデータ変換部２６を設けない構成としてもよいし、モーションデータ変形部２６がモーションデータをスルー出力するように構成しても構わない。

モーションデータの変形が完了すると、制御部２０は動作体型データ生成部２６に対して動作体型データの生成を行うよう指示し、その指示を受けた動作体型データ生成部２６は動作体型データの生成を行う（＃０７）。動作体型データ生成部２６は、モーションデータ変形部２５によって、試着者の３次元体型データに適合されたモーションデータに基づいて、試着者の３次元体型データを動かした動作体型データを生成する。例えば、特徴点（ノード）と隣接特徴点とを連結するエッジを骨格ととらえ、各時刻における特徴点座標（骨格位置）に応じて３次元体型データを変形させる。これにより、試着者の３次元体型データにモデルと同様の動作を行わせることができる。なお、動作体型データの生成はこれに限定されるものでなく、他の方法を用いても構わない。

動作体型データの生成が完了すると、制御部２０は試着画像生成部２７に対して、選択された衣服の衣服ＩＤを通知し、その通知を受けた試着画像生成部２７は試着画像の生成を行う（＃０８）。具体的には以下の処理が行われる。

まず、試着画像生成部２７は、通知された衣服ＩＤを持つ衣服の３次元形状データを取得する。次に、動作体型データの各時刻における３次元体型データに対して、その衣服を着せ付けた３次元形状データを生成し、この３次元形状データの衣服の部分に、衣服の色や模様のマッピングを行う。なお、３次元体型データに対する衣服の仮想的な着せ付けは、上述の特許文献の技術を用いることができる。

そして、試着画像生成部２７は、各時刻における３次元形状データを所定の視点から見た一連の２次元画像を試着画像として生成する。

試着画像の生成が完了すると、制御部２０は一連の試着画像をディスプレイＤに表示する（＃０９）。このとき、ディスプレイＤ上に視点位置を入力するユーザインターフェースを形成しておき、利用者がタッチパネルＴＰを操作して、視点位置を入力できるようにすることができる。入力された視点位置は試着画像生成部２７に通知され、試着画像生成部２７は通知された視点から見た２次元の試着画像を再度生成する。

また、違う衣服や動作を選択したい場合（＃１０，＃１１のＹｅｓ分岐）には、図５のデータ選択画面３０に戻って、上述と同様の選択動作を行うことができる。また、衣服の色や模様のみを変更したい場合には、例えば、サムネイル画像３３を長押しする等によって色選択メニューを表示するように構成することができる。衣服の色や模様のみを変更した場合には、試着画像生成部２７は、色や模様のマッピングのみを行うようにすると、演算量を削減することができ、好適である。

このように、本実施例の仮想試着システムを用いれば、予め登録されているモーションデータを試着者に適合させた状態で衣服の仮想的な試着を行うことができる。これにより、試着することなく、実際に試着した状態で、様々な動作をした際の試着状態を確認することができる。

実施例２における仮想試着システムは、利用者と試着者とが異なる点において異なっている。すなわち、本実施例の仮想試着システムでは、第三者の仮想的な試着を行うことができる。

そのため、本実施形態の試着者情報には、試着者ＩＤ，３次元体型データ，特徴点位置情報に加えて、被許可者の識別情報（以下、被許可者ＩＤと称する）が含まれている。この被許可者ＩＤは、試着者から試着操作を許可された人の識別情報である。すなわち、被許可者は第三者である試着者の３次元体型データを用いた仮想試着操作を行うことができる。なお、試着者情報は単一のテーブルに保持される必要はなく、試着者と利用者との許容関係が把握できれば、他の形式で保持されても構わない。また、一の試着者情報に対して複数の被許可者ＩＤを設定しても構わない。

本実施例における仮想試着システムの機能ブロックは実施例１と同様であるため、詳細な説明は省略し、異なる部分だけを説明する。

本実施例の機能部と実施例１の機能部とで異なる点は、識別情報取得部２１と認証部１４である。まず、本実施例における識別情報取得部２１は、利用者の識別情報（以下、利用者ＩＤと称する）と試着者の識別情報（試着者ＩＤ）とを取得し、サーバＳの認証部１４に送信する。

利用者ＩＤと試着者ＩＤとを受信した認証部１４では、まず、試着者ＩＤをキーとして、試着者情報を検索する。このとき、該当する試着者情報が検索できない場合には、通信端末Ｔに対して認証が失敗した旨を通知する。一方、該当する試着者情報が検索できた場合には、検索された試着者情報の被許可者ＩＤと通信端末Ｔから受信した利用者ＩＤとを照合する。このとき、被許可者ＩＤと利用者ＩＤとが一致すれば、認証部１４は通信端末Ｔに対して認証が成功した旨を通知し、一致しなければ認証が失敗した旨を通知する。

認証部１４から認証結果を受信した通信端末Ｔ（制御部２０）は、認証結果が成功であれば、実施例１と同様に試着者情報の３次元体型データを用いて仮想的な試着を行う。一方、認証結果が失敗であれば、処理を終了し、例えば、識別情報の入力画面の表示に戻る。

このように、本実施例の仮想試着システムでは、利用者は家族や恋人等の第三者の３次元体型データを用いて仮想試着を行うことができる。そのため、家族や恋人等に衣服をプレゼントする等の際に、相手に知られることなく、相手に合った衣服を選択することができる。

本実施例における仮想試着システムは、複数人（グループ）の仮想試着が行える点において上述の実施例と異なっている。そのため、本実施例の仮想試着システムは、図７の機能ブロック図に示すように、サーバＳがグループ情報記憶部１５を備えている点において実施例１と異なっている。

また、本実施例における試着者情報には、図８に示すようにグループＩＤが含まれている。グループＩＤは、各々の試着者がいかなるグループに属しているかを示している。例えば、試着者ＩＤ＝１の試着者はグループＩＤ＝１のグループに属している。一方、試着者ＩＤ＝４の試着者はグループＩＤ＝１およびグループＩＤ＝３のグループに属している。このように、各々の試着者は複数のグループに属することが可能となっている。

グループ情報記憶部１５には、図８に示すようなグループ情報が記憶されている。グループ情報は、グループを識別するためのグループＩＤと、各々のグループに属する試着者の試着者ＩＤと、が含まれている。このグループ情報は試着者情報から生成可能な情報であるが、予めグループ情報を記憶しておくことで、認証時の処理を低減することができる。なお、グループ情報記憶部１５を備えない構成とすることは可能であるが、その場合には、試着者情報記憶部１１または一時的に生成されたグループ情報が記憶されるメモリ等が本発明のグループ情報記憶部として機能する。

他の機能部は実施例１と同様であるため、説明は省略する。また、本実施例における仮想試着システムの処理は、主に試着者情報取得部２２の処理が実施例１の処理と異なっている。以下の説明では、この異なる部分のみを説明する。

まず、実施例１と同様に、識別情報取得部２１からの識別情報に基づいて、認証部１４が認証を行い、認証結果が制御部２０に送信される。制御部２０は、認証が成功した際には、試着者情報取得部２２に試着者情報を取得するように指示を送る。

制御部２０からの指示を受けた試着者情報取得部２２は、実施例１と同様に、識別情報取得部２１により取得された識別情報をキーとして、試着者情報記憶部１１から試着者情報を取得する。さらに、本実施例では、取得した試着者情報のグループＩＤをキーとして、グループ情報記憶部１５からグループ情報を取得する。例えば、試着者ＩＤ＝１の場合には、グループＩＤ＝１のグループ情報｛１，３，４｝が検索される。なお、試着者ＩＤ＝４の試着者情報のように複数のグループＩＤを有している場合には、制御部２０はディスプレイＤおよびタッチパネルＴＰを制御して、利用者に所望のグループを選択させることが好ましい。

さらに、試着者情報取得部２２は、取得したグループ情報の試着者ＩＤに対応する試着者情報を試着者情報記憶部１１から取得する。上述の例の場合には、試着者ＩＤ＝３，４の試着者情報が取得される。

このようにして、本実施例の仮想試着システムでは、複数の試着者情報を取得する。そして、各々の試着者情報に含まれる３次元体型データに対して、実施例１と同様の仮想試着処理を行う。当然ながら、衣服は試着者毎に選択可能であり、モーションデータは複数人の動作が含まれたものを使用する。また、いずれの動作がいずれの試着者に対応するかを、利用者が指定するためのユーザインターフェースを提供すると好適である。

具体的には、モーションデータ変形部２５は、モーションデータに含まれている各々のモデルの動作を対応する試着者の３次元体型データに適合させ、動作体型データ生成部２６は、各々の変形された動作と対応する試着者の３次元体型データとに基づいて、複数人の試着者の動作体型が含まれた動作体型データを生成する。そして、試着画像生成部２７は、このような動作体型データの各々の試着者の動作体型に対して仮想的に衣服を着せ付けた試着画像を生成する。

このように、本実施例の仮想試着システムでは、単一の試着画像に、家族や恋人同士等の複数人の試着状態を含めることができる。そのため、複数人の衣服のトータルコーディネートを容易に行うことができる。また、この際に、複数の試着者が会して意見を出し合うことにより、この仮想試着システムはコミュニケーションツールとしても機能することが期待される。

本実施形態では、仮想試着システムをサーバＳと通信端末Ｔとで構成したが、システム構成はこれに限定されるものではなく、各機能部の配置は適宜変更可能である。例えば、より多くの機器に分散することもできるし、全ての機能部を単一の機器に配置することもできる。

本発明は、３次元の体型データに仮想的に衣服を試着させる仮想試着技術に利用することができる。

１１：試着者情報記憶部
１２：モーションデータ記憶部
１３：衣服データ記憶部
１５：グループ情報記憶部
２０：制御部
２１：識別情報取得部
２２：試着者情報取得部
２３：モーションデータ取得部
２４：衣服データ取得部
２５：モーションデータ変形部
２６：動作体型データ生成部
２７：試着画像生成部

Claims (5)

1. 試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を記憶する試着者情報記憶部と、
   各時刻における人体の特徴点の３次元的な位置を示すモーションデータを記憶するモーションデータ記憶部と、
   衣服の形状データを含む衣服データを記憶する衣服データ記憶部と、
   前記試着者情報を取得する試着者情報取得部と、
   前記モーションデータを取得するモーションデータ取得部と、
   各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形部と、
   変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成部と、
   前記衣服データ記憶部から前記衣服データを取得する衣服データ取得部と、
   前記衣服データに基づいて、前記動作体型データの各時刻の前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成部と、を備える仮想試着システム。
2. 前記モーションデータ変形部は、前記試着者の３次元体型データに設定された特徴点のうちの隣接する特徴点間の距離に基づいて、対応する前記モーションデータの特徴点の位置を移動させる請求項１記載の仮想試着システム。
3. 前記試着者情報は、前記試着者が前記試着画像の生成操作を許可した被許可者の識別情報を含み、
   利用者の識別情報を取得する識別情報取得部と、
   前記利用者の識別情報が前記被許可者の識別情報として含まれている前記試着者情報に対してのみ前記試着画像の生成操作を許容するように制御する制御部を備えた請求項１または２記載の仮想試着システム。
4. 同一のグループに属する前記試着者の情報を規定するグループ情報を記憶するグループ情報記憶部を備え、
   前記試着者情報取得部は、前記同一のグループに属する前記試着者の前記試着者情報を取得し、
   前記モーションデータには複数人の動作が規定され、
   前記試着画像生成部は、前記同一のグループに属する試着者の仮想的な試着状態が含まれた前記試着画像を生成する請求項１から３のいずれか一項に記載の仮想試着システム。
5. 試着者に仮想的に衣服を試着させる仮想試着システムのための仮想試着プログラムであって、
   試着者の３次元体型データおよび当該３次元体型データ上に設定された特徴点の位置を含む試着者情報を記憶する試着者情報記憶部から、当該試着者情報を取得する試着者情報取得機能と、
   各時刻における人体の特徴点の３次元的な位置を示すモーションデータを記憶するモーションデータ記憶部から、当該モーションデータを取得するモーションデータ取得機能と、
   各時刻における前記モーションデータ中の前記特徴点と、前記試着者の３次元体型データに設定された前記特徴点との位置関係に基づいて、各時刻における前記モーションデータを前記試着者の３次元体型データに適合するように変形するモーションデータ変形機能と、
   変形された前記モーションデータに基づいて、前記試着者の３次元体型データを３次元的に動かした動作体型データを生成する動作体型データ生成機能と、
   衣服の形状データを含む衣服データを記憶する衣服データ記憶部から、当該衣服データを取得する衣服データ取得機能と、
   前記衣服データに基づいて、前記動作体型データの各フレームの前記３次元体型データに前記衣服を着せ付けた試着画像を生成する試着画像生成機能と、をコンピュータに実現させる仮想試着プログラム。
   

Images