JP5210102B2 - 仮想試着装置 - Google Patents

Description

本発明は、ハーフミラー上で衣服等の服飾物を着装した状態を仮想的に表示する仮想試着装置に関する。

顧客は、身につける衣服等の服飾物を店舗等において購入するにあたって、購入する予定の商品を店舗に設置されている試着室等で予め試着して、その衣服のサイズ、着心地、或いは自分の容姿に似合うか否かを確認することが一般的である。

顧客が複数の衣服等を試着して、その中から顧客の最も好みの衣服を探すには、それぞれの衣服を試着した状態で比較する必要があるが、顧客はその比較を試着したときの記憶に頼って行わざるを得ず、試着の対象となる衣服が多いときには、最初に試着したときの記憶が薄れて、十分な比較ができずに顧客の好みの衣服を誤って選択してしまったり、再度の試着をする必要が生じて時間がかかる虞がある。

この問題を解決するものとして、顧客がアパレル製品（衣服等）の試着を行う試着室に、所定の撮影環境を備えておき、複数回の試着状態をそれぞれ撮影し、撮影した画像を記憶し、記憶した画像を比較表示して、顧客にアパレル製品の選択を行わせるアパレル製品販売支援方法が知られている（特許文献１参照）。

しかしながら、このように複数の衣服の試着を行うと、複数回に渡って試着室に入り、衣服を脱着する必要があるため、試着する行為自体に時間が掛かり、煩わしいという問題がある。

また、店舗の商品である衣服を多くの顧客が試着することによって、その衣服に傷みが生じ、傷み具合によっては、その衣服を商品として販売できなくなる虞がある。

この問題を解決するものとして、顧客等の利用者の鏡像を映し出すハーフミラーの背面に液晶表示装置を配置し、この液晶表示装置に利用者が試着を希望する衣服等の映像を、鏡像に映った利用者の例えば頭部、上半身、下半身等の体の部位に合わせて表示させることで、仮想的に試着を行い、衣服等が傷むことを防止すると共に、試着の時間を低減できるドレッシングシステムが知られている（特許文献２参照）。

しかしながら、このドレッシングシステムでは、利用者の体の部位に合わせて衣服等を表示するために、予め利用者の姿画像を撮影し、このデータを取得しておく必要があり、不特定多数の利用者に適用させることが難しいという問題がある。

また、液晶表示装置に表示された衣服等は、予め撮影した利用者の姿画像に合わせて表示されるため、利用者が動くと、表示された衣服等と利用者の体とにずれが生じ、所定の姿勢、即ち予め撮影した利用者の姿画像における姿勢でなければ仮想的な試着ができない。

ところで、人体の動きに合わせて仮想的に試着するものとして、人体の各部分を所定の立体形状にモデル化した立体モデルに、立体座標を算出するための位置検出用マークを貼り付け、この立体モデルの立体座標に合わせた位置に服飾データが位置するように、例えばスクリーン等に投影する３Ｄ（Ｄｉｍｅｎｓｉｏｎ）データ表示方法が知られている。（特許文献３参照）。

しかしながら、この３Ｄデータ表示方法は、服飾データの表示する位置を立体モデルの所定の位置に合わせることができるが、特許文献２に記載されたような試着者本人と服飾データとを合わせて仮想的に試着するものではなく、実寸大の試着者の像に合わせて仮想的に試着ができず、リアリティに欠ける。
特開２００２−２０７８０２号公報 特開２００６−３３１１３２号公報 特開２００５−２５６２３２号公報

本発明は、上記従来の問題を解決するために成されたものであって、その目的は、顧客等の試着者が衣服を仮想的に試着するにあたり、不特定多数の試着者が簡単に利用できるようにすることである。

本発明に係る仮想試着装置は、ハーフミラーの背面側から服飾画像を投影して表示する表示手段と、前記ハーフミラーの前面側に位置するユーザの所定部位の位置を検出する位置検出手段と、検出した前記所定部位の位置情報に基づいてユーザの視点位置情報を算出する位置算出手段と、算出した前記視点位置情報及び前記ハーフミラーの位置情報に基づいて前記ハーフミラーに映し出されるユーザの鏡像に対してユーザから見て重ね合う位置に服飾画像を前記ハーフミラーに表示するように前記表示手段を制御する表示制御手段とを備えていることを特徴とする。さらに、前記位置検出手段は、所定時間毎に前記所定部位の位置を検出することを特徴とする。さらに、前記所定部位には所定の位置検出用マークが表示されており、前記位置検出手段は、前記位置検出用マークにより前記所定部位の位置を検出することを特徴とする。さらに、前記位置検出用マークを表示した衣類をユーザが着装することで前記所定部位に前記位置検出用マークが表示されることを特徴とする。さらに、前記位置検出手段は、前記ハーフミラーの上方に設けられるとともに前記ハーフミラーの前面側に位置するユーザを撮影するカメラを備えていることを特徴とする。

本発明によれば、顧客等の試着者が衣服を仮想的に試着するにあたり、不特定多数の試着者が利用できるとともに、試着者の体の動きに追従して着装状態を保つことができ、仮想試着システムの汎用性、及びリアリティを向上させることができる。

以下、本発明に係る実施形態について、添付した図面を参照して説明する。

図１は、本発明に係る実施形態の一部に関する分解斜視図である。仮想試着装置１は、表示手段として、ハーフミラー３及びその背面側に設けられた表示デバイス２を備えており、表示デバイス２の上方には、ハーフミラー３の前方に位置する対象、即ち本装置のユーザを撮影するカメラ４とを備え、カメラ４が撮影した画像から後述する位置検出用マーク用衣服の位置検出用マークの位置を検出するようになっている。なお、各種情報を入力する端末装置を備えるようにしてもよい。

表示デバイス２は、平面状の筺体で前面全体に表示画面を有しており、ハーフミラー３は、表示画面と同じサイズ（面積）で表示画面を覆うように構成されている。表示デバイス２は、液晶ディスプレイ、ＰＤＰ（プラズマディスプレイパネル）や、ＬＥＤ（Light Emitting Diode：発光ダイオード）、ＥＬ（Electro Luminescence）等を利用した大画面のディスプレイを用いることができる。

ハーフミラー３は、入射する光の一部を反射し、一部を透過させる。つまり、表示デバイス２の表示画面に映像が表示されていないときには、ハーフミラー３の前方（表示デバイス２と反対側）に位置するユーザは、ハーフミラー３の前方から入射し、反射した光を視認することができる。即ち、ユーザは、ハーフミラー３を通常のミラーとして利用でき、鏡像を視認することができる。

一方、表示デバイス２の表示画面に映像を表示する場合には、ハーフミラー３の前方に位置するユーザは、ハーフミラー３に映し出される鏡像に重ね合せて表示デバイス２の映像を視認することができる。

カメラ４は、表示デバイス２の上部に取り付けられており、ハーフミラー３の前方側に位置するユーザを撮影したり、基準となる校正用ターゲットを撮影するのに用いられる。なお、カメラ４としては、静止画像を得ることができる撮影機器であれば使用することができ、例えば、デジタルスチルカメラやビデオカメラにより静止画像を得るようにしてもよい。

図２は、仮想試着装置１の制御に関する概略ブロック構成図である。制御部１０は、表示デバイス２における服飾画像に関する表示処理全般を行い、設定部１０１、位置算出部１０２及び表示制御部１０３を備えている。画像表示部１１は、表示制御部１０３から送信される画像データに基づいて表示デバイス２の表示画面に画像表示を行う。位置検出部１２は、カメラ４から得られた撮影画像に基づいてユーザＭの所定部位の位置検出を行う。記憶部１３は、表示デバイス２に表示するための衣服等の服飾画像、登録したユーザに関する顧客情報（属性情報、過去の選択情報等）を記憶する。服飾画像は３次元画像データで構成されており、３次元画像データを用いることにより見る方向に対応した服飾画像を表示することができる。操作入力部１４は、試着する際の必要な選択情報等を入力する。

設定部１０１は、表示デバイス２及びカメラ４の位置関係を設定する。図３は、仮想試着装置１に関する各部位の位置関係を示す説明図である。まず、表示デバイス２の表示画面上の中心位置の空間座標Ｐｍ及びカメラ４の撮影位置の空間座標Ｐｃの位置関係を設定する。設定方法としては、基準となる校正用物体をユーザＭが立つ位置に設置し、校正用物体の所定位置と表示デバイス２の表示画面の中心位置との間の距離を測定して、校正用物体の基準空間座標と表示デバイス２の空間座標Ｐｍとの間の相対位置関係を設定する。

次に、設置した校正用物体をカメラ４で撮影して所要の校正処理を行うとともにその撮影画像に基づいて基準空間座標とカメラ４の空間座標Ｐｃとの間の相対位置関係を設定する。

こうして基準空間座標に対する表示デバイス２の空間座標Ｐｍ及びカメラ４の空間座標Ｐｃが設定される。なお、校正用物体と表示デバイス２との間で測定した距離は操作入力部４から測定値を入力し入力したデータに基づいて空間座標Ｐｍを設定登録する。また、カメラ４の空間座標Ｐｃに関する設定値は、カメラ４で校正用物体を撮影して得られた画像データを解析して空間座標Ｐｃを設定登録する。

位置算出部１０２は、ハーフミラー３の前方側の所定位置に立ったユーザＭをカメラ４で撮影しその画像データからユーザＭの胴体に関する空間座標Ｐｔ及び視点に関する空間座標Ｐｅを算出する。

図４は、カメラ４で撮影したユーザＭの撮影画像の一例を示す説明図である。ハーフミラー３の前方側に立ったユーザＭを斜め上方からカメラ４で撮影すると、カメラ４に近い上半身が大きく撮影される。

ユーザＭは、上半身にマーク表示衣服５を着用している。マーク表示衣服５は、着装状態においてユーザＭの胸部の中央部分に対応する位置に１つの位置検出用マークが表示され、胴部において腹側の両側に対応する位置及び背中側の両側に対応する位置にそれぞれ２つずつ位置検出用マーク５ａが表示されている。マーク表示衣服５としては、エプロンのように衣服の上に簡単に着用できるものが好ましい。また、位置検出用マークが正確に読み取れるように無地で明るい色のものがよい。

位置検出用マーク５ａは、所定のサイズの矩形状のマークで黒色に白抜きで格子状に読取情報が表示されている。そして、各位置検出用マークは、表示される位置を特定可能となるようにそれぞれ異なる格子状パターンが設定されており、位置検出用マークを読み取ることでユーザの所定部位の位置を特定することができる。なお、格子状のパターンが読み取れるのであれば黒白以外の色の組合せを用いてもよい。

ユーザＭの上半身をカメラ４で撮影しその撮影画像から位置検出部１２において位置検出用マーク５ａに関する画像データを抽出する。そして、抽出した画像データの撮影画像における位置及び位置検出用マークの外形形状を実寸の外形形状と対比させて算出される距離により位置検出用マーク５ａのカメラ４に対する相対位置関係を求める。また、位置検出用マークの画像データの格子状パターンを解析することで、上述したようにユーザＭのどの部位に表示された位置検出用マークであるかを特定する。位置検出部１２では、こうしてユーザの所定部位の位置を検出する。そして、所定時間毎に位置検出用マークの位置を検出することで、ユーザの姿勢の変化に応じて所定部位の位置をリアルタイムで検出することができる。

位置算出部１０２では、こうして求められた相対位置関係に基づいてカメラ４の空間座標Ｐｃから各位置検出用マークの空間座標を算出する。胸部の中央部分に対応する位置に表示された位置検出用マークについては、その上方の所定位置にユーザＭの視点位置が存在するものと仮定して位置検出用マークの空間座標から視点位置の空間座標Ｐｅを算出する。胴部の両側に対応する位置に表示された位置検出用マークについては、それぞれ胴体に関する空間座標Ｐｔとして算出する。

こうして、ユーザの視点位置に関する空間座標Ｐｅ及び胴体に関する空間座標Ｐｔが算出され、ユーザの姿勢の変化に応じて各空間座標をリアルタイムで算出することができる。また、ユーザの背中側にも位置検出用マークが表示されているため、ユーザがハーフミラーに対して背を向けた状態でも胴体に関する空間座標Ｐｔが算出され、服飾画像の背中側の画像データを表示することができる。

表示制御部１０３は、操作入力部１４から入力された服飾画像の選択情報に基づいて記憶部１３に記憶された服飾画像の３次元画像データを読出す。そして、表示デバイス２の空間座標Ｐｍ及び視点位置に関する空間座標Ｐｅの相対位置関係に基づいてハーフミラー３上でのユーザＭの鏡像の表示位置及び表示サイズを算出する。また、胴体に関する空間座標Ｐｔに基づいてユーザＭのハーフミラー３に対する傾斜角度（正対しているか、斜め方向を向いているかを示す角度）及び距離を算出する。胴体に関する空間座標ＰｔはユーザＭの腹部及び背部に設定されているので、ユーザＭの０度から３６０度まで回転した場合について傾斜角度を算出することができる。

そして、読み出された３次元画像データを鏡像の表示位置及び表示サイズに合せて表示処理し、傾斜角度及び距離に合せて画像データを回転処理及び拡大縮小処理する。処理した画像データを画像表示部１１に送信して表示デバイス２の表示画面に表示させる。

図５は、服飾画像Ｒを表示画面上に表示した状態をユーザ以外の視点から見た説明図であり、図６は、ユーザの視点から見た表示状態を示す説明図である。ユーザ以外の視点から表示状態を見ると、ハーフミラー３に映し出される鏡像Ｎは表示画面上に表示された服飾画像Ｒとは重なり合わないが、ユーザの視点で見ると、鏡像Ｎに重なり合うように服飾画像Ｒが表示されるようになり、仮想的にユーザが服飾画像Ｒの衣服を着装した状態を表示することができる。

また、所定時間毎に位置検出用マークを読み取って、ユーザの姿勢の変化に応じて視点位置の空間座標Ｐｅ及び胴体の空間座標Ｐｔが変化するので、それに対応して表示される服飾画像も変化するようになる。そのため、現実感のある着装状態を表示することができる。

操作入力部１４としては、キーボード、リモコン等の公知の入力機器を用いて必要な操作情報を入力することができる。また、カメラ４からの撮影画像を用い、ユーザの手の動きや指の動きを読み取って操作情報を特定し入力するようにしてもよい。また、表示画面上にメニュー画面を表示してメニュー画面を操作しながら服飾画像を選択するようにしてもよい。

以上説明したように、仮想試着装置１により、ユーザは実際の衣服を試着することなく、衣服の着装状態をハーフミラー３に表示された鏡像及びそれに重ね合わされた服飾画像で確認して評価することができる。また、記憶部１３に多くの種類の服飾画像を記憶しておくことで、ユーザは、表示デバイス２上に表示する服飾画像を好みに応じて容易に変更することができ、様々な衣服を仮想的に試着することが可能となる。

表示される服飾画像としては、現存する衣服の服飾画像以外に、ユーザが任意に選択した型及び色柄の組み合わせにより生成した仮想的な衣服の服飾画像であってもよい。

本実施形態では、一着の衣服を試着する場合について説明したが、これに限らず、例えば頭部に試着する帽子や、下半身に試着するズボン、スカート等の服飾画像も同時に表示デバイス２上に表示してもよい。この場合は、所定部位の空間座標を算出するために、頭部用及び下半身用の位置検出用マークを表示した衣類を着用すればよい。

図７は、服飾画像を表示デバイス２に表示する処理フローである。予めユーザにマーク表示衣服を着用してもらい、ハーフミラー３の前方側の所定位置に立ってもらう。そして、ユーザをカメラ４により撮影して撮影画像を取得する（Ｓ１００）。取得した撮影画像から位置検出用マークの画像データを抽出し（Ｓ１０１）、抽出された位置検出用マークを解析処理してユーザの所定部位の位置を検出する（Ｓ１０２）。

次に、検出された位置検出用マークの位置及びカメラ４の空間座標Ｐｃに基づいて各位置検出用マークの空間座標を算出し（Ｓ１０３）、ユーザの胴部に対応する位置検出用マークの空間座標から胴体の空間座標Ｐｔを算出する（Ｓ１０４）。そして、胴体の空間座標Ｐｔからユーザの視点位置の空間座標Ｐｅを算出する（Ｓ１０５）。

そして、服飾画像が既に選択されて表示されているかチェックし（Ｓ１０６）、表示されていない場合には服飾画像の選択表示処理を行い（Ｓ１０７）、表示画面に選択を行うためのメニュー画面を表示する。選択表示画面において服飾画像がリモコン等の操作入力により選択されたかチェックし（Ｓ１０８）、服飾画像が選択された場合には、選択された服飾画像を読出し、表示デバイス２の空間座標Ｐｍ、ユーザの視点位置の空間座標Ｐｅ及び胴体の空間座標Ｐｔに基づいて服飾画像の表示処理を行い（Ｓ１０９）、表示デバイス２の表示画面に服飾画像を表示し、ハーフミラー３に映し出されるユーザの鏡像に重ね合わせて服飾画像が投影されて表示される。

ステップＳ１０６において服飾画像が既に表示されている場合には、ステップＳ１０９に進み新たに算出した視点位置の空間座標Ｐｅ及び胴体の空間座標Ｐｔに基づいて服飾画像の表示処理を更新する。こうして、ユーザの姿勢の変化に追随して服飾画像を変化させていくことができる。

服飾画像の表示処理後服飾画像の変更が操作されたかチェックし（Ｓ１１０）、変更操作があった場合にはステップＳ１０９に戻り、再度変更操作により選択された服飾画像の表示処理を行う。変更操作がない場合には終了操作がなされたかチェックし（Ｓ１１１）、終了操作があった場合には終了処理を行う。終了操作がない場合には所定時間経過したかチェックし（Ｓ１１２）、所定時間経過するとステップＳ１００に戻り、位置検出用マークの位置検出及び空間座標の算出といった処理が繰り返されて服飾画像の表示が更新されるようになる。

以上説明したように、ユーザが着用するマーク表示衣服の位置検出用マークをカメラで撮影し位置検出用マークの検出位置に基づいて服飾画像をハーフミラー上に鏡像と重ね合わせて表示するようにしているので、不特定多数のユーザに合せて簡単に着装状態を仮想的に表示することができる。

本発明に係る実施形態の一部に関する分解斜視図である。 仮想試着装置の制御に関する概略ブロック構成図である。 仮想試着装置に関する各部位の位置関係を示す説明図である。 カメラで撮影したユーザの撮影画像の一例を示す説明図である。 服飾画像を表示画面上に表示した状態をユーザ以外の視点から見た説明図である。 ユーザの視点から見た表示状態を示す説明図である。 服飾画像を表示デバイスに表示する処理フローである。

符号の説明

１・・・仮想試着装置、２・・・表示デバイス、３・・・ハーフミラー、４・・・カメラ、５・・・マーク表示衣服、５ａ・・・位置検出用マーク。

Claims (5)

1. ハーフミラーの背面側から服飾画像を投影して表示する表示手段と、前記ハーフミラーの前面側に位置するユーザの所定部位の位置を検出する位置検出手段と、検出した前記所定部位の位置情報に基づいてユーザの視点位置情報を算出する位置算出手段と、算出した前記視点位置情報及び前記ハーフミラーの位置情報に基づいて前記ハーフミラーに映し出されるユーザの鏡像に対してユーザから見て重ね合う位置に服飾画像を前記ハーフミラーに表示するように前記表示手段を制御する表示制御手段とを備えていることを特徴とする仮想試着装置。
2. 前記位置検出手段は、所定時間毎に前記所定部位の位置を検出することを特徴とする請求項１に記載の仮想試着装置。
3. 前記所定部位には所定の位置検出用マークが表示されており、前記位置検出手段は、前記位置検出用マークにより前記所定部位の位置を検出することを特徴とする請求項１又は２に記載の仮想試着装置。
4. 前記位置検出用マークを表示した衣類をユーザが着装することで前記所定部位に前記位置検出用マークが表示されることを特徴とする請求項３に記載の仮想試着装置。
5. 前記位置検出手段は、前記ハーフミラーの上方に設けられるとともに前記ハーフミラーの前面側に位置するユーザを撮影するカメラを備えていることを特徴とする請求項１から４のいずれかに記載の仮想試着装置。

Images