JP5028389B2 - 鏡上の内容及び動作に関連した情報を用いて鏡の機能を拡張する方法及び装置 - Google Patents

Description

本発明は、店舗内試着室システムに関する。より詳細には、本発明は、ユーザ（利用者）に鏡の前で複数の衣料品の印象を視覚的且つ同時に比較させることを可能にする方法及び装置に関する。

衣服のショッピングは、オンライン又は実際の店舗のいずれかで行なうことができるよくある動作である。実際の店舗における一般的な方法は、関心のあるアイテムについての商品を探し、比較のために数点を選択し、もしあればいずれを購入すべきかを判断するためにそれらを試着することである。顧客は、それらが着用上いかに良く合っているか、さらにその顧客が他者に認められたいと思うようなその人自身のイメージに合っているかについて衣服を吟味する。すなわち、顧客は、衣服がその人の身体に合っているかを確認するだけでなく、さらにその人のスタイルに合っているかどうかについても確認する。

顧客は、一般に試着室において複数点の衣服を比較してみたいと思う。現代の視覚技術は、この経験を拡大させることができる。米国ニューヨーク州マンハッタンにあるプラダ・ブティックは、種々の能力を備えた更衣室を有する。顧客が衣服を手に取ると、スキャナがそれぞれの衣服を識別し、衣服の価格及び別の色やサイズに関する更なる情報、即ち、顧客が商品オンラインをブラウジングするときに見つけることができる情報等を提供する。試着室は、さらに、顧客の動作を記録し、その映像を顧客に対し再生するビデオカメラを有する。

アイコンニコルソン（IconNicholson）社によるマジックミラー（Magic Mirror）は、衣服を着用したユーザが自分自身の映像を友人に送り、その友人がコメントを返送し賛否表示（賛意／拒否の合図）をすることができる機能を提供する。このマジックミラーは、鏡上に代わりの衣服の静止画を投影し、ユーザに該ユーザ自身がどのように見えるかということを理解させることができる。

ユーザ、即ち利用者に鏡の前で複数の衣料品の印象を視覚的且つ同時に比較させることを可能にする方法及び装置を提供する。

本発明の第１の態様は、鏡上の内容（contents）及び動作に関連した情報を用いて鏡の機能を拡張するシステムを提供する。動作中、システムは、鏡の前で第１の衣服を着用しているユーザの第１の画像セットを検出する。このシステムは、次に第１の画像セットを記憶する。システムはさらに、鏡の前で第２の衣服を着用しているユーザの第２の画像セットを検出する。その後、システムは、第２の画像セットに基づいてユーザの現在のポーズを決定する。システムは、次に第１の画像セットからユーザの現在のポーズに対応する画像を少なくとも１つ検索する。システムは検索された画像をユーザの動きと略同期して鏡に近接して表示し、これにより、第１の衣服と第２の衣服との印象をユーザに視覚的に比較させることを可能にする。

本発明の第２の態様によれば、上記第１の態様において第２の画像セットに基づいてユーザの現在のポーズを決定することは、第２の画像セットに基づいて向きを検出し、第２の画像セットを処理することを含んでもよい。

本発明の第３の態様によれば、上記第２の態様において第２の画像セットに基づいて向きを検出することは、上面画像を抽出し、上面画像における身体の輪郭を検出し、ユーザの両腕が身体の側面又は正面に伸ばされるときに上面の身体輪郭からユーザの両腕の形状を除去し、上面の身体輪郭に対し最適な適合楕円（best-fitting ellipse）を検出し、最適な適合楕円の正面を決定することを含んでもよい。

本発明の第４の態様によれば、上記第１の態様においてユーザの現在のポーズに対応する少なくとも１つの画像を検索することは、現在のポーズの向きを検出し、現在のポーズを処理し、検索された画像とユーザのポーズに対応する画像との差が最小化される画像を検索することを含んでもよい。

さらに、上面画像において身体の輪郭を検出することは、背景を作成し、移動照明に適合させ、背景の除去によって、未加工の前景を検出し、虚偽の検出を除去し、形態素解析によって未加工の前景において穴を埋めることを含んでもよい。

さらに、虚偽の検出を除去し、形態素解析によって穴を埋めることは、オープニング・アナリシス、クロージング・アナリシス、及び連結成分アナリシスの少なくとも１つを実行することを含んでもよい。

さらに、上面の身体輪郭からユーザの両腕の形状を除去することは、身体輪郭の凸面を決定し、腕の直径とほぼ同じサイズのカーネルを使用して画像を侵食し拡張することによって身体の輪郭の凸部を除去することを含んでもよい。

さらに、最適な適合楕円の正面を決定することは、ユーザの顔面を検出することを含んでもよい。

さらに、最適な適合楕円の正面を決定することは、ユーザの以前の向きを引き出し、最適な適合楕円の短軸を検出し、以前の向きと短軸の可能な向きに確率モデルを適用することによって短軸の最も可能性の高い向きを検出し、正面を背面から区別するためにユーザの前面の特徴を使用することを含んでもよい。

さらに、第２の画像セットを処理することは、画像セットから背景を除去し、画像セットにおける画素をサブサンプリングし、画像セットにおける画素をしきい値化し、画像が並進不変（translation invariant）であるように画像をマッピングすることを含んでもよい。

さらに、システムは、表示された画像がユーザの現在のポーズに必ずしも一致しないように、ユーザに表示画像内のポーズの向きを制御させてもよい。さらに、他の画像処理技術を検出された画像に適用してもよい。

以下の説明は、当業者に発明を製作且つ使用させるために提示され、特定用途及びその要件において提供される。開示された実施の形態に対する種々の変更は当業者によって容易に実施可能であり、本明細書中に定義される一般原理は、本発明の精神及び範囲から逸脱することなく他の実施の形態及び用途に適用され得る。ゆえに、本発明は、図示の実施の形態に限定されるものではなく、本明細書中に開示された原理及び特徴と一致した最も広範囲であることを認められるべく意図されている。

この詳細な説明に記載されるデータ構造及びコードは、一般にコンピュータ可読記憶媒体上に格納され、この媒体はコンピュータシステムによる使用のコード及び／又はデータを格納できる装置若しくは媒体であればよい。これは限定されないが、揮発性メモリ、不揮発性メモリ、特定用途向け集積回路(ＡＳＩＣ)、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、ディスクドライブや磁気テープやＣＤ（コンパクトディスク）やＤＶＤ（ディジタル・ヴァーサタイル・ディスク若しくはディジタル・ビデオ・ディスク）や現在周知若しくは後日開発されるコンピュータ可読媒体を記憶することができる他の媒体などの磁気及び光学記憶装置を有する。

ユーザの存在及び動作に反応して情報を変化させる能力は、幾つかの従来のシステムで実証されている。一部の企業広告技術、例えばリアクトリクス（Reactrix)、フリーセット（Freeset）社のヒューマンロケーター（Human Locator)、及びピーオーピーシェルフアド（P.O.PShelfAds）は、ユーザの存在及び動作を感知し、それに反応してディスプレイの内容を変化させる。しかしながら、これらの反応性ディスプレイは、ディスプレイを見ているユーザの画像若しくは動作を映す画像は表示しない。

インテリフィット（Intellifit）社及びマイシェイプ（MyShape）社などの一部のオンラインサービスは、顧客の身体の寸法をとり、その体形に合わせて実物以上に見える外見を提供することになる。マイ・バーチャル・モデル（MyVirtualModel）社及び３Ｄショッピング（3D Shopping）社などの他のウェブ・サービスは、複数の角度から見ることができる身体に対して適合する衣服をシミュレートするために顧客の測定された身体の三次元図を提供する。

本質的に、こうした仮想試着技術は、マネキンにつけた衣服を見ることに匹敵する。しかしながら、多くの場合、顧客は、それを着用するという十分な経験を得るために顧客自身の身体に衣服を着用したいと思うものである。精巧なコンピュータ・グラフィックスは風合い(drape)、折り目、さらに布地の伸縮を現実的にエミュレートすることができるが、この技術は完全には十分でなく、布地の予期しないフィット感や色、好ましくない感触が結果として生じることもある。このような技術はまた、ユーザのあらゆる衣服の着用形態にわたるものではない。例えばボタンダウンのシャツは、ボタンを掛けたり外したり、きつくしたりだぶだぶさせたり、裾を入れたり出したり、裾を結びつけたり、袖を異なる長さにまくり上げて着用することができる。多種多様のフィッティング・オプションは、最終的に衣服を身体上に身に付けることを必要とする。

これまでのどのシステムも、顧客に、現在着用している衣服を同期視角及び／又は体位で以前に身につけた衣服と同時に比較させることはできない。本発明の実施の形態は、ユーザに鏡の前で１つ以上の衣料品の印象を視覚的に比較させることができるシステムを提供する。特に、このシステムは、ユーザに、同様の又は異なる衣料品を着用している同一又は異なるユーザの印象を近接した状態で比較させることができる。さらにまた、このシステムは、表示されたポーズをユーザの現在のポーズにほぼ同期化することができる。

たとえば、本発明の実施の形態によるシステムは、上面カメラ、正面カメラ、鏡、及びそれぞれ鏡の片側にある２つのディスプレイを含んでもよい。上面カメラは、試着領域におけるユーザの上面から画像を検出する。ユーザが鏡の前に立つと、正面カメラがユーザの画像を検出する。鏡自体は、ディジタル式又は従来のガラス鏡でもよい。鏡の片側のディスプレイは、異なる衣料品を身につけた同じユーザの画像を表示してもよい。鏡の反対側のディスプレイは、同様の又は異なる衣服を身につけた他のユーザ画像を表示してもよい。両方のディスプレイにおいて、表示された画像のポーズは、鏡前でのユーザの動作と同期化される。本質的には、ユーザが動作するたびに、同様のポーズが検索され表示され、このようにして同期化を可能にする。

本発明の実施の形態では、ポーズが記憶され、各ユーザと対応付けられるデータベースを利用してもよい。本発明の異なる実施の形態は、さらに、レーザー照準機、ボディスキャナ、２つ以上のディジタルカメラなどの異なる知覚システムで実施することもできる。

図１は、本発明の実施の形態に従ってユーザに鏡の前で１つ以上の衣料品を視覚的に比較させることを可能にする例示的システムを示す。動作中に、システムは、第１の画像セット（動作１００）を検出する。

このシステムは、ポーズ記憶プロセスを介してデータベース１３０に第１の画像セットを記憶する（動作１１０）。ユーザがここで第２の衣服を着用していると仮定するならば、システムはその後、第２の画像セットを検出し（動作１２０）、その第２の画像セットから現在のポーズを決定し（動作１４０）、さらに異なる衣服を着用しながらも対応するポーズをとるユーザの画像をデータベースから検索する（動作１５０）。システムは、検索された対応するポーズをとるユーザの画像が動作又は現在のポーズ（例えば位置及びジェスチャー）に対して同期する状態で鏡に近接して表示する（動作１６０）。画像を検出し記憶するとともに、ポーズを決定するプロセスは、複数のポーズに対して複数回繰り返され得ることに留意されたい。

本明細書中に使用される用語「ポーズ」は、特定の衣服を身につけ身体が特定の相対的配置にあるときのユーザの身体の位置及び姿勢等を意味する。たとえば、「ポーズ」は鏡やディスプレイに対するユーザの角度位置を指すものであってもよい。「ポーズ」はさらに、脚を上げたり、腕を上げたり、あるいは腰を下ろしたりなどのユーザのジェスチャーを指すものであってもよい。本明細書中で使用される用語「ポーズ情報」は、ポーズに対応付けられる情報を意味する。たとえば、この情報は、各ポーズのマルチビュー画像、以前のポーズ、及び上面から見たユーザの向きでもよい。システムは、こうした画像、以前のポーズ、及び向きをポーズから抽出するために、種々の技術を利用してもよい。さらに、データベースには、ポーズのみを記憶させるだけでなく、さらにユーザ情報及び衣服情報を記憶させてもよい。

ユーザが新しい衣料品を身につけ、鏡の前に進むと、システムは、ユーザの現在の姿勢に対応する画像を検索し、その検索された画像を表示するプロセスを繰り返す。このようにして、ディスプレイはユーザの動きと同時に更新される。より詳細には、システムは、鏡に対するユーザの現在の向きを検出し、同様の向きに対応する以前に格納された画像を検索し、この画像をユーザの動作と同期的に表示する。その結果、ユーザは、鏡における自分自身を見て、その鏡における画像と、鏡に近接して表示される画像とを比較することができ、対応する角度から２点の衣服を同時に比較することができる。

用語「対応するポーズ」は、ユーザの現在のポーズと実質的に同一のポーズに対応付けられる記憶されたポーズ情報を指すことに留意されたい。たとえば、胴部の正面が鏡に向いている状態で第１のシャツを着用しているユーザの記憶された画像は、ユーザが第２のシャツを着用しながら胴部の正面を鏡に向けているときと対応するポーズであると判断される。同様に、胴部の正面が鏡の左側に４５度回転した状態で第１のシャツを着用するユーザの記憶された画像は、ユーザが第２のシャツを着用しながら鏡の左側に４５度回転したときと対応するポーズであると判断される。

一組の画像を検出すること（動作１００及び１２０）は、ユーザの身体の相対的位置を検出することができるいずれの装置でも達成できる。このような装置は、ビデオや静止画像カメラ、レーザー照準機、ボディスキャナ、又はモーションキャプチャ・システム等を含んでもよい。

第１の画像セットを記憶すること（動作１１０）は、複数の方法で達成できる。たとえば、システムは、集中データベース、インターネット・サーバ、又は、一組の分散型データベースを介してポーズ情報を記憶することもできる。

対応する画像を検索する場合（動作１５０）、システムは、各種の比較測度（comparison metrics）を使用して、現在検出されたポーズ情報を、異なる服装一式を着用しているユーザに対応する記憶されたポーズ情報と比較することができる。たとえば、このような比較測度は、差分二乗和 (sum of squared differences)、差分の絶対値 (absolute value of differences)、又は確率的な類似性測度等(probabilistic measure of similarity)を含み、これらの比較測度においての差分は、鏡に対するユーザの向きなどの特定の物理的パラメータと、画像若しくは縮小された画像の特定のパラメータとの間で計算してもよい。

システムは、複数の方法で、以前に記憶された画像を鏡に近接して表示することができる。たとえば、表示された画像は、１つのディスプレイ、回転ディスプレイ、又は鏡の周囲に集積される複数のディスプレイに出現させてもよい。鏡自身はディジタル式であってもよい。

図２は、第２の画像セット２００から現在のポーズを決定するための例示的プロセスを示す。動作中に、システムは、第２の画像セット２００からユーザの向きを検出し（動作２１０）、第２の画像セット２００を縮小させる（動作２２０）。これら２つの動作（２１０及び２２０）は、ユーザの現在のポーズ２３０を生成する。

一実施の形態において、向き検出プロセス２１０は、検出された第２の画像セットに基づいて、鏡に対するユーザの向きを決定する。プロセス２２０は、決定された現在のポーズと、記憶された画像に対応付けられるポーズとの類似性がより効率的に評価され得るように、第２の画像セットを縮小させる。

システムは次にデータベース１３０を検索し、第２の画像セットの現在のポーズ２３０と対応する異なる衣服を着用した同一ユーザの画像を識別する（動作１５０参照）。たとえば、システムは、異なる衣服を着用し、現在のポーズと対応する向きで鏡の前に立つ同一ユーザのデータベース１３０内の画像を識別することができる。このように、システムは、ユーザに、以前に記憶された画像と反射像を並べて同一視角から比較させる。一実施の形態において、ユーザの現在のポーズに対応する画像を識別するために、加重差分二乗マッチング処理(weighted difference squared matching process)（これは以下に詳述される）を使用する。プロセス１５０の出力は、異なる衣服を着用し、ユーザの現位置及び／又は向きに対して同様の位置及び／又は向きでポーズをとるユーザの１つ以上の画像であればよい。

加重差分二乗マッチング処理は、以下のように作用する。まず、システムは、ユーザの現在のポーズの向きを検出する。次に、システムは、種々の画像処理技術を適用することによって、検出した画像を縮小する。この縮小は、マッチング処理を簡略化し、マッチングの一般性を高める。最後に、システムは、以下の式を最小にする画像を以前に記憶された画像から探索する：
Ｗ_O（Ｏ−Ｏ’）²＋Ｗ_P（Ｐ_r−Ｐ’_r）²
ここで、Ｏは現在のポーズの向きであり、Ｏ’は検索された画像における向きであり、Ｐ_rは現在のポーズに対応する画像の縮小、Ｐ’_rは検索された画像の縮小である、Ｗ_Oは実数の重みであり、Ｗ_Pは実数の重みベクトルである。

加重差分二乗を計算する際には複数の重みを使用することができ、又複数の検索方法によってデータベースへインデックスすることができることに留意されたい。たとえば、システムは、データベースへのインデックスとして以下のパラメータを使用することができる。即ち、向き、ユーザ識別情報（これは、ユーザ及び／又は他のユーザによって着用される特定の衣服と対応付けられるポーズ情報を検索するために使用できる）、衣料品識別情報（これは、ユーザ及び／又は他のユーザによって着用される特定の衣服と対応付けられるポーズ情報を検索するために使用できる）、あるいはまた、タイムスタンプ（これは、ごく最近ユーザによって着用される衣服と対応付けられるポーズ情報を検索するために使用できる）がある。

上述した画像縮小処理を、画像処理として一般化し、システム動作に対して任意としてもよい。言い換えれば、システムは、この画像縮小プロセスを実行せずに適切に動作することができる。

図３は、本発明の実施の形態に従ってユーザの向きを検出するための例示的プロセス（プロセス２１０）を示す。動作中に、システムは第２の画像セット２００をプロセス３００に入力し、プロセス３００は第２の画像セットから上面画像を抽出する。第２の画像セットは、一実施の形態において上面画像と正面画像を含む。上面画像は次にプロセス３１０に供給され、このプロセスは上面画像の身体的輪郭を検出する。次に、システムは、プロセス３２０にこの身体的輪郭を供給し、プロセス３２０はユーザの両腕の輪郭を除去して上面から見た身体的輪郭を楕円により簡単に適合できる状態にする。この楕円は、ユーザの正面を検出するために使用される。その後、システムは、両腕が取り除かれた身体的輪郭をプロセス３３０に入力し、プロセス３３０は最適な適合楕円を検出する。一般に、両腕が取り除かれた身体の上面はほぼ楕円形であるので、このプロセスは両腕のない身体の上面を許容可能に近似する楕円を検出する。いったん楕円が適合されると、プロセス３４０は、第２の画像セットと最適な適合楕円を使用して楕円の正面を決定し、ユーザの向き３５０を出力する。

上面画像を抽出することは種々の技術を使用して達成され得ることに留意されたい。たとえば、システムは、上面カメラからの画像を使用して、上面画像を抽出してもよい（プロセス３００）

同様に、最適な適合楕円を検出するプロセスにおいては、種々の画像処理及び数学的操作技術を使用することができる。

本発明の実施の形態に従って、ユーザの向きを検出することは、上面カメラで効率的に達成される。これは、一般ユーザを上から撮影したときの画像は楕円のような形状をしていることが多いからである。長軸は両肩までのラインを示し、短軸は身体の向きを示す。この状態は図１０Ａに示される。格子模様のパターン１０００は、両腕を下げた状態のユーザの上面から見た身体的輪郭であり、最適な適合楕円１０１０によって近似される。楕円の短軸１００５は、ユーザを貫通しユーザを左右に分割する破線である。

楕円の軸線はユーザの正面を背面から区別するのに十分でないことがあるので、このような場合、以下の段落で詳細に記述されるような更なる方法を使用してもよい。

楕円適合に関連する１つの問題は、ユーザのポーズが身体形状に影響を及ぼし得るということである。たとえば、図１０Ｂに示すようにユーザがその両腕を横向きに伸ばすとき、又は図１０Ｃに示すように両腕を正面に伸ばす場合を考慮する。図１０Ｂにおいて、最適な適合楕円１０２５の短軸１０２０は、両腕を横向きに伸ばした状態のユーザの上面から見た身体的輪郭１０１５に基づいて前後の区別を設定するのに十分である。しかしながら、図１０Ｃに示すように、最適な適合楕円１０４０の短軸１０３５は、両腕を前方に伸ばした状態のユーザの上面から見た身体的輪郭１０３０から前後の区別を設定するのに十分でない。これは、両腕が身体の普通の上面から見た楕円形を正面方向に引き延ばすからである。両腕は身体的輪郭全体の一部となるため、向きの検出は腕の位置に影響されやすい。一実施の形態において、システムは、上面から見た身体的輪郭から両腕の画像を取り除く。いったん図１０Ｄにあるように両腕が除去されると、最適な適合楕円１０５５の短軸１０５０はユーザの上面から見た身体的輪郭１０４５から前後の区別を推定するのに十分である。

図４は、本発明の実施の形態による身体的輪郭を検出するための例示的プロセスを示す。動作中に、システムは上面画像４００をプロセス４１０に入力し、このプロセスは画像処理方法を用いて背景を作成する。たとえば、ユーザのいない画像が、背景を作成するために使用され得る。同様に、プロセス４２０は、システムを移動式照明に適合させるために周囲照明検出などの画像処理方法を使用することができる。プロセス４３０は、移動式照明に適合するように背景モデルを使用して未加工の前景（フォアグラウンド）を検出する。次に、プロセス４４０は、虚偽の検出を除去し、穴を埋める。

図５は、本発明の実施の形態にしたがって、虚偽の検出を除去し、検出された画像上の穴を埋めるための例示的プロセスを示す。動作中に、システムは、３つの形態学的方法に未加工の前景５００を入力する。即ち、オープニング・アナリシス（プロセス５１０）、クロージング・アナリシス（プロセス５２０）、及び連結成分アナリシス（プロセス５３０）である。こうした３つの形態学的方法は、虚偽の検出が除去され穴が埋められた身体的輪郭４５０を生成する。こうした３つの方法の詳細な説明は例えば、ゴンザレス及びウッズ、「ディジタル画像処理」、第３版、ＣＲＣプレス、ボーカラトーン、フロリダ州、２００７年８月（Gonzalez and Woods, "Digital Image Processing," 3rd Edition, CRC Press, Boca Raton, FL, August 2007）（以後は「ゴンザレス及びウッズ」）に見出だすことができる。

図６は、本発明の一実施の形態に従ってユーザの画像から両腕を取り去る方法を示す。種々のポーズに対処するために、システムは、入力として上面から見た身体的輪郭６００を取り込み、身体的輪郭の凸面を決定する（プロセス６１０）。身体的輪郭がほぼ凸面である場合、それは両腕が身体とよく位置合わせされていることを意味する。ユーザが横向きに両腕を伸ばしている場合、身体的輪郭は凸面に近い。対照的に、ユーザが両腕を正面に伸ばしている場合、身体的輪郭はＵ字形状である可能性が高く、これは凹面である。

この場合、この凹形状の凸面部（即ち、両腕）及びそれらの対応する画素は、理想的には削除され得る。プロセス６２０は、前景の身体上の画素から両腕を削除するために、形態学的オープニング・オペレータ（侵食作用に続いて拡張がある）を用いて凸部を削除する。形態学的オープニング・オペレータは、腕の直径とほぼ同じサイズのカーネルを使用する。カーネルサイズより小さい幅を有する細いブランチは侵食作用によって削除される。上面カメラが腕の位置を既に識別しているので、この腕部削除プロセスは、ポーズの判断において使用することもできる。侵食作用及び拡張の詳細は、例えば、ゴンザレス及びウッズにおいて見いだすことができる。

図１０Ｄは、最適な適合楕円１０５５が、両腕が除去されたユーザの上面身体的輪郭１０４５に適合している状態を示す。この例において、楕円の短軸１０５０は、前後のラインを正確に識別する。

いったん最適な適合楕円の短軸が識別されると、正面と背面を区別する必要がある。例えばユーザが彼（女）の両腕を正面において折り曲げて体形をより円形にする場合、正面と背面の区別に曖昧さが生じる。この曖昧さは、ユーザが滑らかに向きを変えると仮定して、履歴情報を利用することによって解決することができる。図７は、本発明の実施の形態に従って最適な適合楕円の正面を決定するための例示的プロセスを示す。最適な適合楕円７３０が付与されると、プロセス７４０は、楕円の短軸を検出する。次に、プロセス７６０は、前向き及び後向きの可能な向きを抽出し、さらにプロセス７２０から入力として以前の向きを取り込み、最も可能性の高い向きを決定する。プロセス７６０は、最適な適合楕円７７０の最も可能性の高い正面を出力する。

一実施の形態において、プロセス７６０は、以前の向きから、現在の向きを予測するための確率的モデルを使用する。このタスクのために使用される１つの方法は粒子フィルタリングである。粒子フィルタは、２つのモデル（以下の（１）及び（２））間でバランスを取る。すなわち、（１）ユーザがフレーム間で向きを変化させる過程をモデルする状態遷移モデル。（２）向き検出結果が実際の向きから逸脱する過程をモデルする可能性モデル。粒子フィルタは帰納的であり、時間ｔ−１において以前の向きの判断が与えられると、システムはまず、時間ｔにおいてユーザの向きを予測し、次に、その予測を調整するために新しい向き検出結果を適用する。ユーザが２つのフレーム間で１８０度急転回することができないことから、正面と背面の区別の曖昧さを排除できる。それゆえに、以前の向きを、上面身体的輪郭の正面を背面から区別するのに役立たせることができる。

ユーザの正面を決定するために使用できる別の技術として、種々の顔認識方法を適用してもよい。

図８は、本発明の実施の形態に従って第２の画像セットを縮小するための例示的プロセス（プロセス２２０）を示す。動作中に、システムは第２の画像セット２００をプロセス８００に入力し、このプロセスは、第２の画像セットから背景を除去する。プロセス８１０は、画像を部分的にサブサンプリングし、それらをプロセス８２０に入力し、プロセス８２０は、所与のしきい値以下の特定のポーズ情報を削除する。最後に、このポーズ情報は、プロセス８３０を介して並進不変である形式にマッピングされる。プロセス８３０によって、（ユーザがシステムの境界内にあるならば）ユーザはシステムに影響を及ぼすことなく水平に移動することができる。たとえば、ユーザが１つの上面画像の右上部分に出現しても、別の上面画像の右下部分に同じポーズで出現しても、並進不変マッピングは同じ結果を保証する。並進不変マッピングに対しては種々の技術を使用できる。

対応するポーズを検出するためのパラメータ空間を定義することは、身体上の部分を検出しモデルし、モーションキャプチャを実行することを必要とすることがあるので、困難な課題である。しかしながら、異なる衣服間における比較が目的であるならば、基本的画像特徴を抽出し、これらの特徴からポーズ・マッチングを実行すればよい。たとえば、システムは、時分割方法で動作し、一定の時間ステップで計算を実行するとする。それぞれの時間ステップにおいて、ポーズ・マッチングに使用される特徴セットは、正面及び天井にあるカメラの画像において背景の除去及びしきい値処理した結果をサブサンプリングすることから取得される２つの小さなグレースケール画像を有する。

ポーズ・マッチングは、最良に適合するポーズを得るために、特徴における二乗差分、即ち、２つのグレースケール画像に対して二乗差分を測定することによって実行される。詳細には、正面及び天井の特徴の異なる相対的並進にわたってそれらに対し明暗度の差分和を計算し、その最小値を検出することによって並進不変な二乗差分和を得る。次に、正面及び天井の特徴に対応する２つの差分の和が計算され、単一の差分の測度が得られる。最良に適合するポーズは、データベースにおける比較にわたって測定されるこの単一の差分の最小値にしたがって選択される。マルチビューから引き出される特徴を用いて、１つのカメラにおける曖昧さは、他のカメラからの特徴によって解決することができる。たとえば、正面特徴のみを用いた場合、特定のポーズとその水平反射を混乱させることはたやすい。幸いなことに、上面特徴は、この場合の曖昧さをなくす。

図９は、本発明の実施の形態に従って試着室衣服比較システムを示す。ユーザ９００は、向き９３０で上面カメラ９４０の下に立つ。上面カメラ９４０はユーザの上面を検出し、これは本発明の実施の形態に従って向きを決定するために使用される。正面カメラ９２０は、本発明の実施の形態に従って、同様に正面画像を検出する。両方のカメラからの画像がポーズを形成する。１つ又は２つ、あるいはそれ以上のカメラがユーザ画像を捕捉するために使用され得ることに留意されたい。衣服比較システムは、ユーザの以前のスタイル９５０及び他のユーザのスタイル（代替的スタイル・コレクション９６０）を鏡９１０に近接して表示する。ユーザが向きを変えると、ユーザの以前のスタイル９５０及び代替的スタイル・コレクション９６０に表示される画像内のポーズの向きが変化する。このシステムは、ユーザに鏡の前で１つ以上の衣料品の印象を視覚的に比較させることを可能にする。

ユーザは以前の複数の画像セットから選択することができ、システムはユーザの動きと同期して２点以上の衣服に対応する複数の画像を同時に表示することができることに留意されたい。このことは、ユーザに一度に２点以上の衣服を比較させることを可能にする。

一実施の形態において、システムはユーザに検索された画像内のポーズの向きを制御させることができるので、これらの画像は必ずしもユーザの現在のポーズとマッチしなくてもよい。たとえば、このことにより、ユーザはディスプレイに対して向きを変える必要なしに該ユーザの背部を見ることができる。１つ以上のカメラがこのシステムの試着室で使用できることに留意されたい。

図１１は、本発明の実施の形態にしたがって、鏡の前で１つ以上の衣料品の印象をユーザに比較させ得るための例示的コンピュータシステムを示す。コンピュータ及び通信システム１１００は、プロセッサ１１１０、メモリ１１２０、及び記憶装置１１３０を有する。記憶装置１１３０は、プロセッサ１１１０によって実行されるプログラムを記憶する。詳細には、記憶装置１１３０は、衣服比較システム１１４０を実施するプログラムを記憶する。動作中に、衣服比較システム１１４０用のプログラムは、記憶装置１１３０からメモリ１１２０にロードされ、プロセッサ１１１０によって実行される。

図１は、本発明の実施の形態に従って例示的な衣服比較システムを示す図である。 図２は、ユーザの現在のポーズを決定するための例示的プロセスを示す図である。 図３は、本発明の実施の形態に従って向きを検出するための例示的プロセスを示す図である。 図４は、本発明の実施の形態に従って身体の輪郭を見いだすための例示的プロセスを示す図である。 図５は、本発明の実施の形態に従って誤った検出を除去し、穴を埋めるための例示的プロセスを示す図である。 図６は、本発明の実施の形態に従ってユーザの両腕を取り除くための例示的プロセスを示す図である。 図７は、本発明の実施の形態に従って最適な適合楕円の正面を決定するための例示的プロセスを示す図である。 図８は、本発明の実施の形態に従ってユーザの画像を縮小するための例示的プロセスを示す図である。 図９は、本発明の実施の形態に従って試着室衣服比較システムを示す図である。 図１０Ａは、本発明の一実施の形態に従って、両腕を下におろしたユーザの上部から見た身体の輪郭に対し楕円を適合させるための例示的なプロセスを示す図である。 図１０Ｂは、本発明の一実施の形態に従って、腕を横向きに伸ばした状態のユーザの上部から見た身体の輪郭に対し楕円を適合させるための例示的なプロセスを示す図である。 図１０Ｃは、本発明の一実施の形態に従って、両腕を前方に伸ばした状態のユーザの上部から見た身体の輪郭に対し楕円を適合させるための例示的なプロセスを示す図である。 図１０Ｄは、本発明の一実施の形態に従って、ユーザの上面から見た身体の輪郭に対し楕円を適合させ、楕円の短軸を決定し、両腕の輪郭が排除された後に短軸を見いだすための例示的なプロセスを示す図である。 図１１は、本発明の実施の形態に従って、ユーザに鏡の前で少なくとも１つの衣服アイテムの印象を比較させ得るための例示的コンピュータシステムを示す図である。

Claims (4)

1. 鏡の前で第１の衣服を着用しているユーザの第１の画像セットを検出し、
   前記第１の画像セットを記憶し、
   前記鏡の前で第２の衣服を着用している前記ユーザの第２の画像セットを検出し、
   前記第２の画像セットに基づいて前記ユーザの現在のポーズを決定し、
   前記第１の画像セットから前記ユーザの前記現在のポーズに対応する画像を少なくとも１つ検索し、
   前記検索された画像を前記ユーザの動きと略同期して前記鏡に接近して表示し、これにより前記ユーザに前記第１の衣服と前記第２の衣服との印象を視覚的に比較させることを可能にする、
   鏡上の内容及び動作に関連した情報を用いて鏡の機能を拡張するコンピュータ実行方法。
2. 前記第２の画像セットに基づいて前記ユーザの前記現在のポーズを決定することは、
   前記第２の画像セットに基づいて向きを検出し、
   前記第２の画像セットを処理する、
   ことを含む、
   請求項１に記載の方法。
3. 前記第２の画像セットに基づいて向きを検出することは、
   上面画像を抽出し、
   前記上面画像における上面の身体輪郭を検出し、
   前記ユーザの両腕が身体の側面又は正面に伸ばされる場合、前記上面の身体輪郭から前記ユーザの両腕の形状を除去し、
   前記上面の身体輪郭に対し最適な適合楕円を検出し、
   前記最適な適合楕円の正面を決定する、
   ことを含む、
   請求項２に記載の方法。
4. 前記ユーザの前記現在のポーズに対応する画像を少なくとも１つ検索することは、
   前記現在のポーズの向きを検出し、
   前記現在のポーズを処理し、
   前記検索された画像と、前記ユーザの前記現在のポーズに対応する画像との差が最小になる画像を検索する、
   ことを含む、
   請求項１に記載の方法。

Images