JP6441231B2 - 外観を撮像及び表示する装置、システム及び方法 - Google Patents

Description

［関連出願の相互参照］
本願は、２０１３年３月１５日に出願された米国特許出願第１３／８４３，００１号及び２０１２年１２月１８日に出願された米国仮特許出願６１／７３８，９５７の優先権を主張する。上述の出願は開示の全体が参照文献として本願明細書に組み込まれる。

［技術分野］
本発明は、全体として撮像及びディスプレイシステムに関し、特に例えば小売及び／又はサービス環境、医療又は家庭での場面、テレビ会議、テレビゲームなどにおけるモニタ及び双方向ディスプレイに関する。特定の実施形態は、フラットパネルディスプレイを鏡のように見せることに関する。他の特定の実施形態は、目と目を合わせてテレビ会議をするためにその目を見ている人の映像をフラットパネルディスプレイが提供することに関する。

消費者は、例えばシャツ、ズボン、コート及びその他の衣服などの衣類や、靴、眼鏡などである衣料品、並びに／又は例えば化粧品、家具などの任意の他の品物若しくは製品などの消費者向け商品を購入する。ショッピングは、例えば小売店などのショッピング施設にて通常おこなわれる。消費者はどの商品を購入するかを決定する前に、様々な商品（例えば衣料品、化粧品）を試し、及び／又はその他の背景的商品（例えば家具）と共にポーズをとり、そして例えば小売店の試用エリアに配置される鏡の前で各試用におけるユーザの外観を視認する。例として、消費者は例えばスーツなどの１つ目の商品を試用し、その１つ目の試用における彼・彼女の外観を鏡の前で視認する。そして、消費者は例えば他のスーツなどの２つ目の商品を試用してもよい。消費者は、１つ目の商品と２つ目の商品とを頭の中で比較し、それによって２つの商品のうちのどちらがその消費者によりふさわしいかを検討するために、１つ目の使用における彼・彼女の外観を記憶しておく必要がある。

消費者は数多くの商品を試用すること、及び／又は、２つ目の試用が１つ目の試用後に十分な時間をおいて、若しくはさらに異なる店舗においておこなわれることから、消費者は残念ながら各試用における彼・彼女の外観を思い出すことが不可能になるので、以前に試用した、例えば衣料品などの商品を再度試用することが必要になり得る。このことから、不満の残る非効率的なショッピング経験になり得る。

従来の鏡（つまり反射面）は一般的であり、人がリアルタイムで実際の自分の外観を吟味するには最も信頼のおける道具である、従来の鏡に代わるカメラとスクリーンとの組合せを中心にした先行技術により、いくつかの代替品が提案されているが、これらの技術は満足のいくものではなく、まるで人が従来の鏡における自分自身を見ているというような信頼のおける人の像としてはまだ受け入れられていない。これは主に、カメラにより生成される像が鏡により生成される像と顕著に異なるためである。

ユーザが鏡における自分自身を見るときに、実際に見るのは、自分から鏡までの距離の２倍の距離で立っているような自分自身の反射である。これは図５Ａに示され、距離Ｄ１で立つユーザは、Ｄ１の２倍と等しい距離における自分自身を見る。同様に、図５Ｂに示されるように、距離Ｄ２で立つユーザは、２×Ｄ２の距離で自分自身を見るであろう。さらに、ユーザの視野（ＦＯＶ）の角度は、ユーザが鏡に対して例えば近づく等、距離を変えるときに変化する。ＦＯＶは、ユーザの目に対する、そして鏡のすべての辺（長方形又は正方形の鏡の４辺）における可視可能な像の端に対する鏡からの正反射角度（β）によって限定される。図５Ａでは、垂直のＦＯＶの底部は、ユーザの目と鏡の底部とを連結し、ユーザの靴を反射する線によって形成される角度（β）の２倍として示される。結果として、図５Ｂに示されるように、ユーザが鏡に近づくとＦＯＶ角度は増加し、このためユーザは同一サイズの反射を連続して見るので（ＦＯＶ１＜ＦＯＶ２）、ユーザは実際に概ね同じサイズだがより近づいて自分自身を見る。これは、ユーザがカメラに近づくと画像上で大きくなって見えるというカメラとの明らかな違いである。主としてこれは、カメラのＦＯＶが固定され主にカメラのレンズサイズ又は焦点距離によって決定されるためである。

また、鏡の反射に関して言及されるべきその他の現象が存在する。例えば、ユーザが鏡に近づくとき、ユーザの目の反射は鏡の中への同一の仮想線上に常にある。反対に、ユーザがカメラに近づくとき、カメラの高さ次第で、ユーザの目は異なるレベルに現れ得る。カメラとの他の相違は、鏡を見るときに、その像は逆転しているように見えることである（例えば、右手を上げると、鏡では左手が上がっているように見える）。しかしながら、鏡は、上下を入れ替えないのと同様に左右を「入れ替え」はしない。鏡は、前後の軸を逆転し（すなわち、鏡の前にあるものは鏡の後ろにあるように見える）、我々は前後に関して左右を定義する。また、鏡の像は虚像なので、鏡は全身より小さいことがあり得るが、ユーザはそれでもその全身の反射を見ることができる。この理由は、ユーザが鏡に近づくときに、正反射（図５Ａにおいて入射角度βは反射角度βと等しい）が有効な視野を増大させることができるためである。さらに、鏡は２次元の物体であるが、ユーザは自身の外観を３次元で見る。

上記で言及された理由の少なくとも一部から、これまでに説得力をもって鏡を再現するシステムが提供されたことはない。鏡の再現は小売り及びその他の分野において数多く適用され得て、実生活における経験をソーシャルネットワーク及びその他のモバイル技術における共有などの仮想生活における経験に取り入れるという可能性を開く。

本発明の一部の例示的実施形態は、外観の比較を可能にする装置、システム、及び方法を含む。

本発明の一部の例示的実施形態によると、外観の比較を可能にするシステムは、少なくとも１つの双方向の撮像及び表示ステーションを含んでもよい。該ステーションは、例えば、鏡又はディスプレイモードのいずれか又は両方で作動することが可能な鏡・ディスプレイ装置、鏡・ディスプレイ装置の前の視野から１つ以上の外観を撮像する撮像装置、及び／又はユーザの指令により、鏡・ディスプレイ装置の作動モードを選択するための撮像制御ユニットを含んでもよい。鏡・ディスプレイ装置はフラットパネルテレビの形態であり、鏡モードの際に、該テレビがカメラから転置されたライブビデオフィードを表示する一方で、ディスプレイモードの際には、それ以前に撮影されメモリから取得された転置された画像を表示してもよい。

本発明の一部の例示的実施形態では、撮像制御ユニットはユーザの指令を受信するための入力装置を含んでもよい。

本発明の一部の例示的実施形態では、撮像制御ユニットは、１つ以上の外観に対応し得る１つ以上の画像のデータを保存するための記憶装置を含んでもよい。

本発明の一部の例示的実施形態では、鏡・ディスプレイ装置は、少なくとも第１及び第２の同時表示可能なフレームに分割されることが可能であってもよい。第１のフレームは、例えば鏡及びディスプレイモードの両方で選択的に作動可能であってもよい。第２のフレームは、例えば鏡モードで作動可能であってもよい。

本発明の一部の例示的実施形態では、撮像装置は外観の３次元画像を撮像可能であってもよい。

本発明の一部の例示的実施形態では、鏡・ディスプレイ装置は、予め定義された順序で外観の画像を表示することが可能であってもよい。

本発明の一部の例示的実施形態によると、撮像制御ユニットでは、例えばユーザから受信したユーザ特定データに基づいて、ユーザに承認された外観の画像へのユーザアクセスが選択的に可能であってもよい。

本発明の一部の例示的実施形態によると、少なくとも１つの双方向の撮像及び表示システムは、ネットワークを介して通信可能である２つ以上の双方向の撮像及び表示ステーションを含んでもよい。例えば、２つ以上のステーションは、外観の画像に相当する互いのデータ同士を通信することが可能であってもよい。

本発明の一部の例示的実施形態によると、撮像制御ユニットは、鏡・ディスプレイ装置を制御して、例えばディスプレイモードの際に外観に対応する１つ以上の画像を表示してもよい。１つ以上の画像には、例えば鏡像である１つ以上の外観が含まれてもよい。鏡像である外観は、モニタに表示されたときに鏡の中の外観に類似する画像及び映像を生成するために、カメラから取得された画像又はビデオフィードを転置させることで得られる。

本発明の一部の例示的実施形態によると、外観の比較を可能にする方法は、鏡又はディスプレイモードのいずれかで選択的に作動可能である鏡・ディスプレイ装置の作動における鏡モードを使用することと、鏡・ディスプレイ装置の前で第１の試用の外観に対応する画像を撮像することと、第１の試用の画像を保存することと、鏡・ディスプレイ装置の作動におけるディスプレイモードを選択することと、及び／又は、第１の試用の画像を取得し、鏡・ディスプレイ装置に該画像を表示することを含んでもよい。

さらなる実施形態によると、方法及び装置は、満足のいく鏡の外観を作り出ためのカメラ及びフラットスクリーンディスプレイを使用して提供される。

本発明に関する主題は、特に明細書の結びの部分に示され明確に記載される。しかしながら本発明は、その特徴及び有利性と共に、作動の構成と方法とに関して、添付の図面と共に下記の詳細な説明を参照することで最も理解される。

図１は、本発明の一部の例示的実施形態における外観の比較を可能にする双方向システムの概略図である。 図２Ａ及び図２Ｂは、本発明の一部の例示的実施形態における双方向システムを用いた外観の比較における２つの連続的な段階の概略図である。 図３Ａ、図３Ｂ及び図３Ｃは、本発明の一部の例示的実施形態における双方向システムを用いた外観の比較における３つの連続的な段階の概略図である。 図４は、本発明の一部の例示的実施形態における１つ以上のユーザの外観の比較を可能にする方法の概略的フローチャートである。 図５Ａ及び図５Ｂは、鏡の反射の概略的図である。 図６は、画像の低歪みを取得するために、ユーザの目の高さにおける垂直配列の１つのカメラ又は複数のカメラを備える実施形態を示す。 図７は、スクリーンの上部に設置され水平に方向づけられたカメラを用いる際に、ユーザが鏡に近づくか又は鏡から離れると起こることを示す概略図である。 図８は、カメラがモニタスクリーンの上部に設置され、下向きに傾斜されているシステムを示す概略図である。 図９は、鏡を再現する画像を生成するために画像の変換をおこなう本発明の実施形態のブロック図である。 図１０Ａ及び図１０Ｂは、本発明の実施形態におけるキャリブレーション処理を示す概略図である。 図１１は、本発明の実施形態における処理を示すブロック図である。 図１２は、本発明の実施形態におけるキャリブレーションと画像の変形とをおこなうためのモジュール及び処理を示すブロック図である。 図１３は、システムの設置後に現場においてキャリブレーション及び変形マッピングがおこなわれる他の実施形態を示す。 図１４は、カメラの画像からデータを抽出するための実施形態を示す。 図１５は、ｎ個のカメラからの画像のスティッチングがおこなわれる実施形態を示す。 図１６は、鏡における自分自身を直接的に見る最大限に再現されたユーザにその目を表示するための実施形態を示す。

図の簡易性及び明確性のため、図面に示される要素は必ずしも精密に又は一定の縮尺率で描出されるわけではないということが理解される。例えば、一部の要素のサイズは、明確性のため、他の要素に対して又は１つの要素に含まれるいくつかの物理的構成要素に対して誇張されていることがあり得る。さらに、適切であると考えられる場合に、対応する又は同様の要素を示すため、参照番号が複数の図面間で反復される。これらの図面は本発明の実施形態の実施例を提示し、本発明の範囲を限定することは意図されていないということが理解される。

以下の説明において、本発明の種々の態様が記載される。本発明の十分な理解を得るために、説明を目的として具体的な構成及び詳細が示される。しかしながら、本明細書に示される具体的な詳細がなくとも本発明が実施され得るということは当業者には明白であろう。さらに、当該分野において既知である原理及び適用によるところの本発明の一部の特徴は、本発明を不明確にすることを避けるために省略されるか又は簡易化される。

本発明の一部の例示的実施形態は、以下に詳細が記載されるような、例えば異なる外観同士の比較など、ユーザが１つ以上の外観を比較することを可能にする双方向のシステムを含み得る。

本明細書で用いられる用語「ユーザの外観」は、消費者向け商品を試用する際の消費者の外観に関する。商品は、例えば衣類、靴、眼鏡、衣服、ネクタイなどの衣料品、消費者の近くに配置される家具などの商品、並びに、例えば化粧品、ヘッドドレス、髪型などのその他の品物、商品、デザイン、又は製品を含む。同様に、実施形態は、例えば数種のデザインを見ることを望むファッションデザイナーなどのために技術的な用途で使用されてもよく、家庭において、家族の生涯にわたるアルバムを実寸で作る人が用いることもできる。

本発明の一部の例示的実施形態では、システムは、ユーザの外観を撮像可能な撮像装置と、鏡又はディスプレイとして選択的に作動可能な鏡・ディスプレイ装置とを含んでもよい。鏡・ディスプレイ装置により、鏡モード時に、消費者向け商品を現在試用するユーザの外観をユーザが評価する及び／又は見ることが可能になる。さらに以下において記載されるように、これはフラットパネルディスプレイへのライブビデオフィードを用いておこなうことができ、配信画像はスクリーンにおける表示の前に鏡を再現するように変形される。また、鏡・ディスプレイ装置により、ディスプレイモード時に、例えば以下に詳細に記載されるように例えばそれ以前に撮像装置によって撮像された前回の試用の１つ以上のユーザの外観をユーザが評価する及び／又は見ることが可能になる。

本発明の一部の例示的実施形態よる双方向システム１００を概略的に示す図１が参照される。

本発明の一部の例示的実施形態では、システム１００は、撮像制御ユニット１２０、撮像装置１３０（例えば、スチル又はビデオカメラ）、及び鏡・ディスプレイ装置１４０（例えば、フラットパネルディスプレイ）を含み得る双方向の撮像及び表示ステーション１１０を含んでもよい。撮像制御ユニット１２０はコントローラ１２１、ネットワークインターフェイス１２２、記憶装置１２３、入力装置１２４を含んでもよく、それらすべての構成要素は以下に詳細に記載される。

本発明の態様は、システム１００などの外観の比較システムの個別のユニットである撮像装置１３０などの撮像装置、鏡・ディスプレイ装置１４０などの鏡・ディスプレイ装置、及び／又は撮像制御ユニット１２０などの撮像制御ユニットの例示的実施形態によって本明細書に記載される。しかしながら、本発明はこれに限定されないこと、そして本発明のその他の実施形態ではシステムは撮像装置、鏡・ディスプレイ装置、及び／又は撮像制御ユニットの任意の適切な構成、組合せ、及び／又は配置を含むということが当業者には理解されるであろう。例えばシステムは、鏡・ディスプレイ装置、撮像装置、及び/又は撮像制御ユニットを含む一体型モジュールを含んでもよい。また例えば、撮像装置、及び/又は撮像制御ユニットは、鏡・ディスプレイ装置の一部として適用されてもよい。

本発明の一部の例示的実施形態では、鏡・ディスプレイ装置１４０が２つの作動モードで選択的に作動することを可能にする部品及び機構で鏡・ディスプレイ装置１４０が構成されるか、及び／又はそのような部品及び機構を鏡・ディスプレイ装置１４０が含んでもよい。第１の作動モード（「鏡モード」）では、鏡・ディスプレイ装置１４０は鏡として作動してもよい。第２の作動モード（「ディスプレイモード」）では、鏡・ディスプレイ装置１４０はディスプレイとし作動してもよい。鏡・ディスプレイ装置１４０が鏡モードで作動する場合に、システム１００のユーザ１１１は、リアルタイムで鏡・ディスプレイ装置１４０に反射された、消費者向け商品の第１の試用におけるユーザの外観を評価するか及び／又は見てもよい。撮像装置１３０は第１の試用におけるユーザの外観の画像を撮像してもよい。撮像された画像は、例えば以下に記載されるように記憶装置１２３によって保存されてもよい。そして、ユーザ１１１は、第２の商品を試用して鏡・ディスプレイ装置１４０の前でポーズをとってもよい。撮像装置１３０は、第２の試用におけるユーザの外観の第２の画像を撮像してもよい。ユーザは、鏡モードに設定された鏡・ディスプレイ装置１４０を用いてリアルタイムで第２の商品を見ることが可能になってもよい。鏡・ディスプレイ装置１４０がディスプレイモードに切り替えられると、鏡・ディスプレイ装置１４０はそれ以前に撮像された１つ以上の画像を表示するように制御されてもよい。以下に記載されるように、鏡・ディスプレイ装置１４０が鏡又はディスプレイモードで選択的に作動することが可能なことから、ユーザ１１１は、第１と第２との試用におけるユーザの外観を同時に又は連続して比較することが可能である。

例えば、図１、図２Ａ、図２Ｂ、図３Ａ、及び/又は図３Ｂに示されるような本発明の一部の例示的実施形態では、ディスプレイモードの作動時に、コントローラ１２１が外観の鏡像を表示するために装置１４０を制御してもよい。しかしながら、本発明はこれに限定されないということと、その他の実施形態においては、ディスプレイモードの作動時に、コントローラは例えば回転した外観、反転した外観や、実質的に変化のない、例えば正面の外観、レンダリングされた外観など、外観に対応する任意の他の画像を表示するために装置１４０を制御してもよいということとが当業者には理解されるであろう。

装置１４０は、第１及び第２の作動モードで鏡・ディスプレイ装置１４０を選択的に作動させることを可能にする任意の適切な構成及び／又は機構を含んでもよい。例として一実施形態では、装置１４０は、例えば液晶に印加される電圧次第で、反射率、屈折率などの光学特性を変化させ得る液晶（ＬＣ）素子アレイを含んでもよい。また例として、第１の電圧の印加は、鏡・ディスプレイ装置１４０が鏡として作動するように液晶の光学特性の変化をもたらし、第２の電圧は、鏡・ディスプレイ装置１４０が液晶ディスプレイとして作動するように液晶の光学特性の変化をもたらし得る。

本発明の他の実施形態では、例えば鏡・ディスプレイ装置１４０は、半反射性又は一方向性の鏡に包埋された液晶ディスプレイ（ＬＣＤ）装置を含んでもよい。つまり、ＬＣＤが非能動的作動モードに切り替えられる場合に、鏡・ディスプレイ１４０は十分なその入射光を受動的に反射して、ユーザが妥当な質と明るさでユーザの外観を見ることを可能にする。反対に、ＬＣＤが能動的作動モードに切り替えられる場合に、ＬＣＤ装置に表示される画像は鏡・ディスプレイの表面からの残留反射よりも顕著に明るいので、ユーザ１１１はＬＣＤ装置に表示される画像を見得る。他の実施形態では、システムは、システム購入者が自身のディスプレイを付与するなどして、ディスプレイそのものを有しないスタンドアローンコンピュータにおいて適用されるか、又はシステムはスクリーンなしで使用されるが、ユーザのモバイル装置若しくはタブレットによって遠隔制御され、ユーザはそのモバイル装置や遠隔操作された記録において外観を見ることができる構成を有する。

また一部の場合では、カメラがディスプレイから離されることも可能であり、例えば高級ブランドでは、壁にスクリーンが埋め込まれ、離れた位置に適切なレンズを備えるカメラが設置されてもよい。

本発明の一部の例示的実施形態では、鏡・ディスプレイ装置１４０は、例えば、インターネットのウェブサイト（ｈｔｔｐ：／／ｗｗｗ．ｒｅｓｅａｒｃｈ．ｐｈｉｌｉｐｓ．ｃｏｍ／ｎｅｗｓｃｅｎｔｅｒ／ａｒｃｈｉｖｅ／２００３／ｍｉｒｒｏｒｔｖ．ｈｔｍｌ−）に記載されるようなＲｏｙａｌ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ社から入手可能な３２ＰＭ８８２２／１０モデルなどのＬＣＤ ＨＤ対応ミラーテレビによって適用されてもよい。このような装置は、例えばポリマー系有機発光ディスプレイ（ＯＬＥＤ）を含んでもよい。鏡・ディスプレイ装置１４０は、任意の適切なディスプレイ技術を適用する任意の他の適切な装置を含んでもよい。例えば、装置１４０は、ナノエミッシブディスプレイ（ＮＥＤ）、プラズマディスプレイパネル（ＰＤＰ）、ブラウン管（ＣＲＴ）ディスプレイ、デジタルライトプロセッシング（ＤＬＰ）ディスプレイ、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、タブレットスクリーン、フラットパネルＳＥＤ、有機エレクトロニクスディスプレイ、電子ペーパー、３Ｄディスプレイ（例えばホログラムディスプレイ）、薄膜抵抗（ＴＦＴ）ディスプレイ、光学ＴＦＴ、ドットマトリクスＬＥＤスクリーン、例えば鏡・ディスプレイ１４０が撮像装置１３０の機能を実行することができ得るようなＣＣＤの性能を有するＬＣＤ、ペインタブルＬＣＤ、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、高精細度テレビ放送（ＨＤＴＶ）用ディスプレイ、リアプロジェクタディスプレイ装置などを含んでもよい。

本発明の一部の例示的実施形態では、撮像装置１３０は、鏡・ディスプレイ装置１４０の前の視野（ＦＯＶ）からの１つ以上の外観を撮像するために適応させてもよい。鏡・ディスプレイ装置１４０の前のＦＯＶは、例えば鏡・ディスプレイ装置１４０の前の視野、エリア、場所、地帯、及び又は領域を含んでもよい。また例えば、ＦＯＶは、鏡モード時に鏡・ディスプレイ装置１４０により映される視野、エリア、場所、地帯、及び又は領域の少なくとも部分を含んでもよい。

本発明の範囲はこれに限定されないが、撮像装置１３０は、例えばＣＣＤカメラ、ビデオカメラ、カメラ、及び／又は３Ｄ画像の撮像を可能にするカメラ装置（例えばステレオカメラ）などであるか、又はこれらを含んでもよい。ステレオカメラは、例えばユーザの外観の３Ｄ画像を撮像するために適応させてもよい。ステレオカメラは、例えば、人間の２つの目の間の距離に対応し得る互いの間の距離を有する２つのレンズを含んでもよい。従って、ステレオカメラは、立体写真術として既知である人間の両眼視をシミュレートすることが可能であり、それによって３Ｄ画像を撮像することが可能であってもよい。

本発明の一部の例示的実施形態では、ステーション１１０は、例えばオフィス、家庭、又は例として衣料品店などの小売店などである所望の場所における外観を比較する領域に配置され得るスタンドアローンユニットであってよい。

本発明の他の例示的実施形態では、ステーション１１０は、例えばネットワークインターフェイス１２２を介して、例えばネットワーク１５０であるネットワークに接続され、それによりステーション１１０と、例えばステーション１６０及び／又はステーション１７０などである、ネットワーク１５０と連結された１つ以上の他のステーションとの間の通信が可能になってもよい。

本発明の一部の例示的実施形態では、ステーション１１０は、本明細書に記載されるように、ネットワーク１５０における他のステーションからの情報を送受信するためにネットワーク１５０と相互通信するように適応され得るネットワークインターフェイス１２２を含んでもよい。そのような情報は、例えばステーション１６０及び／又は１７０である、システム１００の様々なステーションで撮像されたユーザの画像に対応する、並びに、以下においてより詳細に記載されるシステムへの安全なアクセスを可能にするためのユーザの情報を特定するデータを含むが、これには限定されない。ネットワーク１５０は、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、グローバル通信ネットワーク（例えばインターネット）、無線通信ネットワーク（例えば無線ＬＡＮ（ＷＬＡＮ）通信ネットワーク）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、無線仮想プライベートネットワーク（ＶＰＮ）、例えば周波数領域複信（ＦＤＤ）ネットワーク、モバイル通信用グローバルシステム（ＧＳＭ（登録商標））ネットワーク、広帯域符号分割多元アクセス（ＷＣＤＭＡ（登録商標））セルラー通信ネットワークなどである第３世代パートナーシッププロジェクト（３ＧＰＰ）などのセルラー通信ネットワーク、を含んでもよい。

本発明の一部の例示的実施形態では、１つ以上のステーション１６０及び１７０は携帯型装置であってよい。そのような携帯型装置の非限定的例として、携帯電話、ラップトップコンピュータ、ノートブックコンピュータ、携帯型コンピュータ、タブレットコンピュータ、パーソナル通信システム（ＰＣＳ）装置、携帯情報端末（ＰＤＡ）、無線通信装置、無線通信装置を組み込んだＰＤＡ装置、セルラー式電話、無線電話、スマートカード、トークン、メモリーカード、メモリーユニットなどを含んでもよい。本発明の一部の実施形態では、１つ以上のステーション１６０及び１７０は、例えばデスクトップコンピュータ、テレビ装置、サーバコンピュータなどの非携帯型装置であってよい。

本発明の一部の実施形態では、システム１００は、例えばネットワーク１５０を介してステーション１１０、１６０及び／又は１７０と連結され得るコントロールセンタ１９０を含んでもよい。コントロールセンタ１９０は、例えばステーション１１０、１６０及び／又は１７０のうちの１つ以上から受信したユーザの外観のデータ及び／又は画像に相当するデータを受信及び保存してもよい。

本発明の一部の実施形態では、ステーション１１０、１６０、及び／又は１７０は、例えば小売りチェーンの様々な店舗など、様々な位置に配置されてもよい。さらに、ステーション１１０、１６０、及び／又は１７０は、例えば様々なフロアや同じフロアの異なる場所など、建物内の種々の位置に配置されてもよい。そのような位置には、例えば衣料品店、靴店、売り場、コンセプトショールーム、展示会、ショッピングモール、眼鏡店、化粧品店、スポーツクラブ、保健施設、フィットネスセンター、空港、電車の駅、コーヒー店、レストラン、ホテル、家庭などが含まれてもよい。ステーション１１０、１６０、及び／又は１７０のうちの１つ以上は、双方向型看板に使用されてもよい。例として撮像装置１３０は、例えば看板（図示せず）に掲示される画像を撮像してもよい。システム１００によって、ユーザ１１１は、例えばそれ以前に衣料品を色々と試着した複数の画像から看板に表示される画像を選択することができる。

本発明の一部の例示的実施形態では、ユーザの外観の画像を様々な位置で見てもよい。例として、撮像装置１３０は第１の試用の画像を撮像してもよい。そして該画像は、ネットワークインターフェイス１２２から信号１５１及び１５２を用いてネットワーク１５０を介し、例えばステーション１６０に送信されてもよい。従って、ユーザ１１１は、ステーション１６０で第１のユーザの外観の画像を見ることが可能になる。またユーザ１１１は、例えば、ステーション１１０と関連する店舗などである小売チェーン店の第１の店舗における第１の試用のユーザの外観を見ることが可能であり、そして、第１の試用のユーザの外観と、例えばステーション１６０と関連する同じ若しくは関連するチェーン店の第２の店舗で、及び／又は例えば第１の試用の１時間以上、１日以上、又は１週間以上後の異なる時におこなわれ得る第２の試用のユーザの外観とを比較してもよい。

本発明の他の例示的実施形態では、撮像装置１３０は、第１の試用のユーザの外観の画像を撮像し、そして該画像が後に取得されるために保存されるコントロールセンタ１９０に、ネットワークインターフェイス１２２を経由しネットワーク１５０を介して該画像を送信してもよい。従って、ユーザ１１１は、ネットワーク１５０を介してコントロールセンタ１９０と接続される、例えばステーション１６０である任意のステーションにアクセスすることによって、第１の試用の画像にアクセスしてもよい。

本発明の一部の例示的実施形態では、記憶装置１２３は、例えばハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、コンパクトディスク（ＣＤ）ドライブ、ＣＤ−ＲＯＭドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、又は、その他の適切である取り外し可能な若しくは取り外し可能ではない記憶ユニットを含んでもよい。

本発明の一部の例示的実施形態では、コントローラ１２１は、例えば中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、マイクロプロセッサ、コントローラ、チップ、マイクロチップ、集積回路（ＩＣ）、又は、例えば当該技術において既知であるその他の任意の適切な、多目的の若しくは特定のプロセッサ若しくはコントローラを含んでもよい。

入力装置１２４は、例えばキーボード、リモートコントロール、モーションセンサ、ポインタ装置（例えばレーザポインタ）、マウス、タッチパッド、タッチスクリーン、生体測定入力装置（例えば指紋スキャナ及び／又は顔スキャン用カメラ）、及び／又はその他の任意の適切なポインティング装置若しくは入力装置を含んでもよく、これらは鏡・ディスプレイ装置１４０に埋め込まれるか、又は、例えば装置１４０とは別のその他の任意の適切なユニットによって適用され得る。入力装置１２４は、以下に詳細に記載されるように、例えばユーザ１１１がシステム１００にアクセスする（例えば安全にアクセスする）ことを可能にするために、ユーザ特定情報を受信するように適応されてもよい。

本発明の一部の例示的実施形態では、撮像装置１３０を作動するために、ユーザ１１１によってユーザの指令が入力装置１２４に提供されてもよい。入力装置１２４は、例えばシステム１００のユーザ１１１が撮像装置１３０の作動パラメータを定義することを可能にするためのインターフェイスを含んでもよい。コントローラ１２１は、信号１３１を介してユーザ１１１から入力を受信し、適切に撮像装置１３０の作動を制御してもよい。ユーザの指令は、例として、画像を撮像するタイミング、例えばユーザ１１１の位置に追従する自動追跡アルゴリズムに従った撮像装置１３０の位置、及び／又は例えば焦点、カメラの位置、撮像角度、ダイナミックレンジなどの撮像の特性、に関する指令を含んでもよい。またユーザの指令は、例えば映像撮像モード、写真モードなど、撮像装置１３０の画像撮像の作動モードを規定するための指令を含んでもよい。本発明の一部の実施形態では、撮像装置１３０は、例えばマイクロフォンである音入力装置及び／又は例えばラウドスピーカである音出力装置を含んでもよい。故に、撮像装置は、例えばユーザ１１１から発生された音声信号であるオーディオ信号を受信してもよく、これは例えば記憶装置１２３に記録及び保存され、オーディオ信号が音出力装置を介して再生されてもよい。音出力装置は、ラジオ番組、コンパクトディスクレコードなどの他の任意の種のオーディオ信号を再生することが可能であってもよい。

本発明の一部の例示的実施形態では、コントローラ１２１は、ユーザ１１１から受信した指令に従った鏡・ディスプレイ装置１４０の作動モードを例えば設定してもよい。例として、鏡・ディスプレイ装置１４０が鏡モードで作動している場合に、システム１００のユーザは、鏡・ディスプレイ装置１４０をディスプレイモードに切り替えるために、例えば入力装置１２４の指定されたボタンを押下することによって、入力装置に切り替え指令を提供してもよい。コントローラ１２１は、入力装置１２４から入力を受信し、例えば信号１４１を用いて、ディスプレイ作動モードに切り替えるために装置１４０を制御してもよい。

本発明の一部の例示的実施形態では、撮像装置１３０は、例えば鏡・ディスプレイ装置１４０の上部、下部、又は側部などの様々な位置に設置され、既出の衣料品の試着の画像であり得るユーザの外観の画像、例えば家具などの様々な商品を伴うか及び／又は様々な衣服などを着用してポーズをとるユーザ１１１の画像を撮像してもよい。本発明の一部の実施形態では、撮像装置１３０は、鏡・ディスプレイ装置１４０に現れるようなユーザの外観、つまりユーザの外観の鏡像を撮像してもよい。その他の実施形態では、撮像装置１３０は外観を撮像し、コントローラ１２１は撮像装置１３０によって撮像された外観に対応する鏡像を生成してもよい。例として、記憶装置１２３は、コントローラによって実施される際に、撮像装置１３０によって撮像された外観の回転、反転、及び／又は鏡像化の任意の適切な方法又はアルゴリズムを提供し、それによって撮像装置１３０によって撮像された画像の回転、反転、及び／又は鏡像化画像に相当する画像データを生成し得る指令を保存してもよい。これらの実施形態では、コントローラ１２１は、鏡・ディスプレイ装置１４０を制御して、回転、反転、及び／又は鏡像化画像をディスプレイ作動モード時に表示する。他の実施形態では、コントローラ１２１は、鏡・ディスプレイ装置１４０を制御して、例えば非鏡像化、非回転、及び／又は非逆転画像である撮像装置１３０によって撮像された画像に対応する画像をディスプレイ作動モード時に表示する。一部の実施形態では、撮像装置１３０はユーザ１１１には見えず、ディスプレイ装置１４０の後方に配置されるか、並びに／又は、例えば画像を表示及び撮像することの両方が可能であるＬＣＤ−ＣＣＤ装置であるか若しくはこれを含む鏡・ディスプレイ装置１４０に埋め込まれてもよい。例として、本発明の例示的一実施形態において、装置１４０は、上述のような鏡・ディスプレイ機能、及び撮像装置１３０の撮像機能を果たすための、例えば液晶を含むアレイ、スクリーン又は表面を含んでもよく、例えば装置１４０は鏡・撮像・ディスプレイ装置を含んでもよい。

本発明の一部の例示的実施形態において、ステーション１１０、１６０、及び／若しくは１７０のうちの１つ以上は画像撮像装置１３０を含まなくてもよいか、並びに／又はステーション１１０、１６０、及び／若しくは１７０のうちの１つ以上は鏡・ディスプレイ装置１４０を含まなくてもよい。例として、システム１００の第１のステーションは撮像装置１３０のみを含み、例えば鏡・ディスプレイ装置１４０を含まなくてもよい。ユーザ１１１は第１のステーションを使用して、例えば第１のステーションで第１の試用の結果画像を見ることなく第１の試用におけるユーザの外観の画像を撮像してもよい。ユーザ１１１は、後に、鏡・ディスプレイ装置１４０を含み得るシステム１００の別のステーションで、第１の試用の撮像画像を見てもよい。

本発明の一部の例示的実施形態では、撮像装置１３０は、鏡・ディスプレイ装置１４０の前で起こる場面の画像及び／又は一連の画像、映像などの撮像を可能にするように配置されてもよい。追加的に又は代替的に、撮像装置１３０は、鏡・ディスプレイ装置１４０から反射した画像を撮像することを可能にするように配置されてもよい。例として、撮像装置１３０は、鏡・ディスプレイ装置１４０の前でポーズをとるユーザ１１１の画像を撮像することが可能であってもよい。ユーザは、鏡・ディスプレイ装置１４０の前でポーズをとるときに、例えば衣服の第１の試用などのユーザの外観を検証してもよい。撮像装置１３０は、ユーザ１１１から提供される入力装置１２４における入力によって、例えば既出の衣服などの衣料品の試着であり得るユーザの外観の画像を撮像してもよい。ユーザ１１１による試用は、家具、スタジオ設定などユーザ１１１の周辺に配置され得る様々な物品と関わるユーザ１１１をも含み得るということが言及される。このように、撮像装置１３０は、例えば第１の試用、第２の試用などのユーザの外観の画像を撮像し、撮像された各画像を、信号１３１及び信号３０を介して記憶装置１２３に送信してもよい。ユーザ１１１は、例えば第２の又はそれ以降の他の試用などの後に、撮像された例えば第１の試用の画像を取得することが可能であり、例えば図２Ａ、図２Ｂ及び図２Ｃを参照して以下に記載されるように、第１と第２或いはその他の試用とを比較してもよい。

本発明の一部の例示的実施形態では、記憶装置１２３は、撮像装置１３０によって撮像された画像に相当するデータを取得し、外観の画像、より具体的には撮像装置１３０によって撮像された既出の衣料品の試着などのユーザの外観を保存するように適応されてもよい。既出の試着におけるユーザの外観の画像は、例えばコントローラ１２１によって記憶装置１２３から取得され、ディスプレイ１４０に表示されてもよい。ユーザ１１１は、以下に詳細に記載されるように、表示された画像同士を比較してもよい。

本発明の一部の例示的実施形態では、記憶装置１２３は、以下に詳細に記載されるように、ステーション１１０への安全なアクセスを可能にするために、ユーザＩＤ、パスワード、ログイン時間、生体測定用データなどのユーザ特定データを要求及び／又は検証する、例えばソフトウェアアルゴリズムに相当するデータを含んでもよい。例として、コントローラ１２１は、鏡・ディスプレイ装置１４０を制御して、例えばユーザ１１１から提供される識別データに基づいてユーザ１１１の識別情報に対応する画像を表示してもよい。例として、ユーザ１１１は、例えば顔認識、掌形、指紋、網膜、音声認識などの生体測定入力を含み得るユーザを識別する入力を入力装置１２４におこなってもよい。ユーザを識別する入力には、例えば、クレジットカード、個人識別番号（ＰＩＮ）、パスワード、スマートカード、顧客カード、クラブカードなどのその他の任意の適切な入力が含まれてもよい。コントローラ１２１は、例えば任意の適切な方法及び／又はアルゴリズムに基づいて、入力装置１２４に提供されたユーザを識別する入力が、例えば記憶装置１２３又はコントロールセンタ１９０に保存されたユーザ特定データと一致するかどうかを検証する。生体測定入力を検証することが可能であるソフトウェアは、例えば、Ｇｅｏｍｅｔｒｉｃ Ｉｎｃ社から提供される「Ａｃｔｉｖｅ ＩＤ ＦａｃｅＶｉｓｉｏｎ ｔｅｃｈｎｏｌｏｇｙ」であってもよい。ユーザ１１１の入力と保存されたユーザ特定データとをコントローラ１２１が一致させるときに、コントローラ１２１によって、ユーザ１１１が例えばそれ以前のユーザ１１１のユーザの外観の画像に相当するデータにアクセスすることが可能になる。

本発明の一部の例示的実施形態では、記憶装置１２３は、例えば鏡・ディスプレイ装置１４０において仮想効果を描画するなど追加のシステム特性を可能にする例えばソフトウェアアルゴリズムに相当するデータを含んでもよい。例として、コントローラ１２１は、例えば衣服、コレクション、ヘッドドレス、髪型、家具などの仮想の商品と関わるか、及び／又は組み合わせられたユーザの外観の画像を鏡・ディスプレイ装置１４０で描画することが可能であってもよい。さらに、コントローラ１２１は、例えばユーザ１１１の体重の減少、増加などをシミュレートするために様々な体型を有するユーザの外観の画像を鏡・ディスプレイ装置１４０で描画することが可能であってもよい。例として、ユーザ１１１は、第１の試用において、ファッションコレクションの中からスーツなどの特定の商品を選択し、コントローラ１２１は、鏡・ディスプレイ装置１４０に現れるユーザ１１１の画像に該コレクションを仮想的に適合させてもよい。コントローラ１２１は、第１の試用の画像を記憶装置１２３に保存し、第２の試用において同様のステップをおこなってもよい。従って、システム１００のユーザ１１１は、該コレクションの第１と第２の試用との間で比較をすることが可能であってもよい。

本発明の一部の例示的実施形態では、コントローラ１２１は、例えば画像及び／又は映像閲覧性能、画像及び／又は映像再生機能を提供してもよく、その性能及び機能はシステム１００によって予め定義されるか、又は入力装置１２４を介してユーザ１１１から受信される１つ以上のユーザの指令に従って、例えば実行中に定義されてもよい。例として、コントローラ１２１は、それ以前のユーザの外観の１つ以上の画像を取得し、該画像を様々な順序で鏡・ディスプレイ装置１４０に表示することが可能であってもよい。例として、以前の試用の画像は、実質的に連続する順方向、逆方向、若しくは例えば無作為にアクセスできるなどの混在した順序で表示されるか、及び／又は段階的な順序か若しくは他の任意の順序であってもよい。さらに、以前の試用の画像は、例えば以下に記載されるように、鏡・ディスプレイ装置１４０に同時に表示されてもよい。また、コントローラ１２１は、以前に撮像したユーザの外観を削除し、記憶装置１２３に保存されるデータ量を制限することが可能であり、さらに鏡・ディスプレイ装置１４０に表示される画像の形状、寸法、色などを制御してもよい。

本発明の一部の例示的実施形態では、ユーザ１１１は、撮像された１つ以上の画像を保存することが可能である携帯型記憶装置１８０を使用してもよい。携帯型記憶装置は、例えばスマートカード、ディスクオンキー（ｄｉｓｋ−ｏｎ−ｋｅｙ）装置などの任意の適切な携帯型記憶装置を含んでもよい。ユーザ１１１は、記憶装置１２３から、例えば記憶装置インターフェイス１２５又は他の任意の適切なデータ接続を介して、第１の試用におけるユーザの外観の例えば信号５０に相当する例えば画像をダウンロードしてもよい。そして、ユーザ１１１は、別の場所、例えばユーザ１１１の家又はシステム１７０などのシステム１００の他のステーションに例えば第１の試用の画像を後にアップロードしてもよい。

本発明の一部の実施形態において、ステーション１１０は１つを超える鏡・ディスプレイ装置を含むか、或いは図２Ａ及び図２Ｂに関して以後記載されるような同時に２つのフレームに分割され得る鏡・ディスプレイ装置１４０を含んでもよい。

本発明の一部の例示的実施形態では、コントローラ１２１は、ユーザ１１１を特徴づけるパラメータを、例えば記憶装置１２３に記録又は保存してもよい。例として、システム１００は、コントローラ１２１を介して例えば記憶装置１２３に接続される計量器を含んでもよい。コントローラ１２１は、例えば商品を試用中の、例えばユーザ１１１の体重を記録することが可能であってもよい。従って、ユーザ１１１は、例えばユーザ１１１の体重であり得るパラメータを後に取得してもよい。

ここで、本発明の一部の例示的実施形態に従って、双方向システムを使用して外観同士を比較する段階を概略的に示す図２Ａ及び図２Ｂを参照する。

本発明の一部の例示的実施形態では、鏡・ディスプレイ装置１４０は２つのフレームに分割され、一方のフレームは鏡フレーム１９２として作動し、他方のフレーム１９１は鏡及びディスプレイフレームとして選択的に作動してもよい。図２Ａに示されるように、ユーザ１１１は、撮像装置１３０によって撮像され記憶装置１２３に保存され得る第１の試用において、鏡フレーム１９２の前でポーズをとってもよい。その後、図２Ｂに示されるように、ユーザ１１１は、フレーム１９２の通常の鏡における第２の試用の外観と並んだ、フレーム１９１の第１の試用のユーザの外観、並びに／又は記憶装置１２３に保存された及び／若しくはネットワーク１５０を介して受信した（図１）ユーザの外観などの他の任意のユーザの外観の画像を同時に見て、第１の試用と第２の試用とを比較してもよい。

ここで、本発明の一部の例示的実施形態に従って、双方向システムを使用して外観同士を比較する３つの連続した段階を概略的に示す図３Ａ、図３Ｂ及び図３Ｃを参照する。

図３Ａに示されるように、システム１００のユーザは、鏡モードで作動する鏡・ディスプレイ装置１４０における第１の試用のユーザの外観を見てもよい。コントローラ１２１は、第１の試用のユーザの外観を撮像するための撮像装置１３０の使用の要求を含み得るユーザの入力を、例えば入力装置１２４から受信してもよい。結果として、撮像装置１３０は第１の試用のユーザの外観の画像を撮像し、記憶装置１２３は撮像された画像を保存してもよい。

図３Ｂに示されるように、ユーザ１１１は、鏡作動モードで作動する鏡・ディスプレイ装置１４０における第２の試用のユーザの外観を見てもよい。そして、ユーザ１１１が、例えば比較のためにそれ以前の外観を見ることを望む場合に、コントローラ１２１は、入力装置１２４を介して、第１の試用を見ることを要求するユーザの入力を受信してもよい。図３Ｃに示されるように、この時点で、コントローラ１２１は、信号１４１を使用して、鏡・ディスプレイ装置１４０の作動モードをディスプレイモードに変更してもよい。そしてコントローラ１２１は、装置１４０を制御して第１の試用を表示してもよい。このように、ユーザ１１１は、鏡・ディスプレイ装置１４０の作動モード間を切り替えることによって、第２の試用のユーザの外観と、第１の試用のユーザの外観及び／又は以前に記憶装置１２３に保存されたその他の任意のユーザの外観とを比較してもよい。

ここで、本発明の一部の例示的実施形態に従って、１つ以上の種々の外観同士を比較することを可能にする方法のフロー図を概略的に示す図４を参照する。本発明はこれに限定されないが、図４の方法における１つ以上の操作はシステム１００の１つ以上の構成要素（図１）によっておこなわれてもよい。

ブロック４１０に示されるように、該方法は、例えば鏡・ディスプレイ装置の作動モードを設定することを含んでもよい。例として、ユーザ１１１（図１）はまず鏡・ディスプレイ装置１４０（図１）の作動モードを鏡モードに設定してもよい。代替的に、新規のユーザがシステム１００（図１）にログインする場合はいつでも、装置１４０（図１）はデフォルトでは鏡モードで作動するように設計されてもよい。

ブロック４２０に示されるように、該方法は、例えば鏡・ディスプレイ装置の前でポーズをとることをも含んでもよい。例として、ユーザ１１１（図１）は、鏡・ディスプレイ装置１４０（図１）の前でポーズをとり、例えば衣服、靴及び／又は他の任意の衣料品などの第１の試着のユーザの外観を検証してもよい。

ブロック４３０に示されるように、該方法は、例えば第１の試用におけるユーザの外観の画像を撮像することを含んでもよい。例として、ユーザ１１１（図１）は、第１の試用におけるユーザの外観の画像を撮像するために、撮像装置１３０（図１）に指令をする装置１２０（図１）にユーザの指令を提供してもよい。

ブロック４４０に示されるように、該方法は、ユーザが様々な外観で鏡・ディスプレイ装置の前で例えばポーズをとることを含んでもよい。例として、ユーザ１１１（図１）は、例えば家具及び／又は衣料品などの１つ以上の周囲の品物を変更し、鏡モードで作動する鏡・ディスプレイ装置１４０の前で再度ポーズをとり、第２のユーザの外観を見てもよい
ブロック４５０に示されるように、該方法は、例えば鏡・ディスプレイ装置の作動モード同士を切り替えることを含んでもよい。例として、ユーザ１１１（図１）は、鏡モードとディスプレイモードとで鏡・ディスプレイ装置１４０（図１）を切り替えてもよい。このように、ユーザ１１１（図１）は、第１の試用におけるユーザの外観、並びに／又は、記憶装置１２３に保存された及び／若しくはネットワーク１５０（図１）を介して受信したユーザの外観などの他の任意のユーザの外観と、第２の試用におけるユーザの外観との間で比較をすることが可能であってもよい。

本発明の一部の例示的実施形態では、店舗名、店舗の住所、価格、衣料品の試着時間及び／又は日付、販売員の名前などのショッピングパラメータを例えば含む各試用のパラメータを、ユーザ１１１（図１）が示すか、及び／又はステーション１１０（図１）が例えば自動的に保存することが可能であってもよい。ユーザ１１１（図１）は、例えば図１に関して上述されるように、撮像したユーザの外観の画像を取り外し可能又は携帯型記憶装置に例えば保存し、全ての画像を例えば特定の店舗などに割り当て可能であるときに、ユーザの外観の画像を後に再検討してもよい。さらに、例えば値引き、シーズン終わりのセールなどについての例えばアラームなどのリマインダを、ユーザ１１１が定義するか、並びに／又はコントローラ１２１（図１）が生成するか、及び／若しくは例えば記憶装置１２３に保存することが可能であってもよい。

ここで、例えばデジタルスチル又はビデオカメラなどのカメラによって撮像された画像を用いること、及びスクリーンに投影されるときに、鏡像、即ちスクリーンが実際に通常の鏡である場合にユーザが見るであろう画像に類似するように画像を処理することの実施形態に関して記載される。

図６は、説得力のある鏡像をもたらすデジタルスクリーン６４０、カメラ６３０、電子化画像プロセッサ６４５を含む、以下の実施形態を理解するための概略図である。理想的な環境において、カメラは、ユーザの目の位置に対応してスクリーン後方の平行平面上を移動して目と目が合っていると認識できる状態を作り出すことが可能であり得る。しかし、通常のスクリーンの背後にカメラを配置することは、単にカメラの視界を遮ることから現実的ではない。理論上は、半透明スクリーン又は複数のカメラを備える複数のピンホールを使用することによってこの問題を解決することが可能であるが、適用するには著しく高価で複雑なものになり得る。より簡潔な解決策は、鏡を再現するために、カメラをディスプレイスクリーンの上部に設置し、撮像された画像を処理することである。適切な処理の実施例は以下に記載される。

ユーザが鏡のように自身の画像を同一のサイズで見るために、ユーザとスクリーンとの距離の変化を補償する適応型ＦＯＶが必要とされる。一実施形態では、これはカメラのズーム（デジタル及び／又は機械式）を用いて解決される。従来のカメラは固定ＦＯＶ又は機械的に回転可能なＦＯＶを備える。適応型、即ち連続可変ＦＯＶを作り出すために、システムは解像度を処理するか、又はユーザ追跡に基づいてカメラズームを制御しリアルタイムで焦点を合わせることを必要とする。

さらに、鏡の左右の性質に対応するために画像は垂直に反転させる必要がある。この画像の変換はデジタル画像のピクセルアドレスを処理することにより比較的容易におこなわれ得る。

図１に関して記載されたように、鏡はユーザよりも小さいことがあり得るものの、全身の反射を映す。これはＦＯＶの適切な選択とスクリーンサイズの適切な選択との組合せで成し遂げられる。この考えは、デジタルスクリーンがユーザの身長よりも小さい場合でも全身を見ることができるように、ユーザが鏡との距離の２倍の反射を見ていると知覚させるＦＯＶを有するスクリーン上の画像を投影するということである。これは、鏡に対して異なる距離で撮像されたユーザの画像を示すが、特にＦＯＶの処理によってユーザの身体を同一のサイズで示す、図６における像Ａ、Ｂ及びＣにおいて例示される。一部の実施形態では、鏡に対するユーザの距離により画像の解像度もまた変化する。例として近距離では一実施形態においてカメラアレイが使用されてもよく、画像マニピュレータが画像の歪みを低減するためにスティッチングを用いてもよい。

３次元撮像に対応するため、ユーザの目の間の距離に相当する距離における２つのカメラか、又は有効な２つの仮想視点を備える１つのカメラが設定に必要とされる。また説得力のある３Ｄ体験には、距離の関数として３Ｄ画像の生成を変化させ得る適応型閉ループ法の適用も必要とされる。ユーザが鏡におけるその反射を見るときには自身を３Ｄで見るが、鏡に近づくか、又は離れるとき、その目から反射への角度は変化し、３Ｄ画像の深度も変化する。

図６に関して記載されるように、カメラをディスプレイの後方に目の高さで配置することは著しく複雑であるか、又は高価になり得る。故に、以下の実施形態では、スクリーンの境界部に配置され、ユーザに向いた固定的に設置されたカメラ（単数・複数）を備えた、上記に記載された理想的なシステムを適用するための実用的な方法が提供される。その主な課題は、理想的な設定で得られるものと同様のユーザ体験をもたらすために、どのようにリアルタイムで適応的に画像の歪みを補償するかである。図７及び図８は、デジタルスクリーンの上部に配置されたカメラを伴う、つまりユーザの目の高さには対応しない、実用的な設定を用いるこの取り組みの一部の例を示す。

図７は、スクリーン上部に設置され水平に向いたカメラを使用するときに、ユーザが鏡に近づくか、又は鏡から離れると起こることを表す。システムがダイナミックレンジの中心にキャリブレーションされるとすると、ユーザが離れるときに像はより小さくなり上部に配置され（図７の像Ｃ）、ユーザがスクリーンに近づくときにユーザの像はより大きくなり、カメラのＦＯＶはユーザの像を切り取る（像Ａ）。さらにユーザがスクリーンに近づくと、投影の歪みが顕著になり、つまりユーザは鏡における自身を見ているようには感じない。

一実施形態では、カメラは、ユーザの身体全体を任意の距離で撮像可能にするために、スクリーンの前におけるユーザの動作の最大のダイナミックレンジを許容するように下向きに傾斜してスクリーンの上部に配置される。図８に示されるように、カメラは下向きに傾斜しているので、投影の歪みは大変大きく顕著になる。ユーザがカメラに近づくと、その画像は歪みがより大きくなる。歪みの本質は主に投影の歪みであり、ユーザは身長が低く見え、ユーザの身体の上部が大きく見える。この構成においては、スクリーンからさらに離れるとユーザの画像はより小さくもなる。一方で、有効か、又は使用に適するかの少なくとも一方であるカメラのＦＯＶは、スクリーンの前のより大きな領域に及び、ユーザがスクリーンにさらに近づいても、身体全体の画像をみること可能にする。

ユーザの前にスクリーンからの空間オフセットで配置されるカメラから説得力のある（増強された）鏡像を作り出すことを可能にするため、スクリーンに表示される前に撮像された画像を処理するように電子化された方法が使用される。電子化された方法は、スクリーンの作動モード次第でリアルタイムか、又は非リアルタイムで作動する。

電子化された方法はカメラにより撮像された画像を入力として受信し、画像の変換をおこなって、従来の鏡によってもたらされる視点に適合するようにカメラの視点と視野とを補正する。すなわち、ユーザが鏡に近づくか、又は離れると、鏡に反射される視点はカメラによって撮像されるものとは異なる。電子化された進歩的な方法における実施形態では、ユーザ位置の追跡に基づいた適応型ＰＯＶ（視点）及び適応型ＦＯＶモジュールが組み込まれる。

具体的には、先行技術において提案されるような、画像を垂直に反転することのみにより仮想の鏡における問題を解決するという取り組みは鏡像を作り出すには不十分である。カメラを用いる場合、鏡からの距離とは関係なく、多少異なるＦＯＶで概ね同一のサイズでユーザが常に自分自身を見るという従来の鏡とは異なって、ユーザがカメラ・スクリーンに近づくとユーザの像は大きくなり、その逆も同様である。さらに、カメラに近づくことにより、電子化された非常に進歩的な方法で補正されることが必要な画像の歪みがもたらされる。スクリーンに画像を表示する前に適応型ＰＯＶ及び適応型ＦＯＶを実行することによりスクリーンの位置に配置される鏡の反射を再現する画像が提供される。さらに、さらにより説得力のある鏡像を得るために、以下の特徴もまた組み込まれる。

一実施形態では、電子化された方法により、複数のカメラから取得された画像の動的適応型画像スティッチングがさらにおこなわれる。本実施形態によると、画像解像度、画像の精度を向上し、１つのカメラＦＯＶを拡張し、様々なユーザ及び様々なユーザの向きにおける歪みを低減し、ユーザの身体メッシュのよりよいモデルを創出してカメラの歪みを補償するために、システムは、様々な位置に配置されるか、及び／又は複数の技術・特徴に基づいた複数のカメラを含む。例として、ユーザがスクリーンから離れると画像の解像度は損なわれるので（ユーザの画像はより少ないピクセルで撮像される）、カメラを光学的にズームさせ再度焦点を合わせることは理に適っている。問題は、カメラのＦＯＶの縮小が代償になることである。ＦＯＶを維持しながら解像度を向上させるため、スティッチング又は動的ズームが共に適用されることが可能である。

前段落で言及されたように、システムは、鏡像を適切に表すために適応型光学ズームをさらに適用してもよい。適応型光学ズームは、距離追跡、つまりユーザに対する距離の継続的な追跡に基づいて画像・映像の質・解像度を向上する。さらに、カメラがスクリーンの側方に設置される場合に起こり得る非対称の歪みを低減する。

画像の転置の精度を確実にするために、プラットフォームは分散したポインタにおいてキャリブレーションされることが可能であり、電子化された方法によってスクリーンの前の様々な位置で補正的変換を内挿法及び外挿法で推定することが可能である。一実施形態では、投影の歪みは、ユーザ追跡及びカメラの位置に基づいた分析法において算出されることが可能である。他の実施形態では、画像の歪みはスクリーンの前で測定され、その測定情報が投影の直接的な算出の代わりに用いられる。

電子化された方法は、ユーザに対する距離が測定されるときにマッピング変換が迅速におこなわれるように、並列計算及び／又は前もってオフラインで距離毎の変換を算出すること例えば用いて、できる限り遅延を抑制するように最適化される。別の実施形態によると、算出・測定されたユーザの視点毎の投影変換を分析的に創出することでキャリブレーションをおこなわない直接的な方法が用いられる。

以下は、鏡画像変換を共に提供するモジュールの高度な記載となる。映像取得モジュールは、映像を用い、映像の改善をおこない、カメラ最適化設定をおこない、利用可能なハードウェアの制限のもと最適な映像の質を取得するように制御される。幾何学的測定モジュールは、ユーザに対する距離、ユーザの身長の任意の組合せを測定又は推定し、目の位置及び頭のポーズを特定し、３Ｄ身体メッシュ推定などをおこなう。カメラ制御モジュールは画像／映像の質及び最大解像度用にカメラを設定する。複数のカメラの場合、最大解像度を取得するためのＦＯＶの最適化は各カメラからのユーザの位置に基づいておこなわれる。

幾何学的測定モジュールはフレームごとの映像、関連するユーザの幾何学的位置・方向の情報を取得し、原画像を補正位置にマッピングし、存在する場合はブラインドピクセルを充填する。例として、幾何学的変換はユーザが鏡を見ているように目を一致させるようにしておこなわれる。すなわち、ユーザが自分自身を見て、自分が自分自身の目を見ているように感じるように、入力された映像を歪ませるための正確な幾何学的変換が電子化された方法により算出される。この変換はその他の局面でも有効である。例として、コンピュータを使用してテレビ会議がおこなわれるとき、カメラはコンピュータモニタ又はスクリーンの上部に配置されるので、取得される画像には下方を見ているユーザが通常は映し出される。これは、ユーザが実際にはコンピュータモニタを見ておりカメラを見ていないためである。開示の幾何学的変換を使用することは、このような状況において、実際にスクリーンを見ているときでもユーザがカメラを見ているようなユーザの画像がもたらされるということである。このことでより個人的な会議環境が得られる。幾何学的補正は、テレビ会議の適用において、左右に画像を反転させることは必要ないものの鏡の適用と類似する。

マッピング変換モジュールは様々な実施形態を用いて適用され得る。一実施形態ではスケーリング方法が用いられ、ユーザが鏡の中に見る画像のサイズを合致させるため、ユーザに対する距離毎のスケーリング補正をおこなうために幾何学的推定が用いられる。他の実施形態によると、画像投影及びスケーリング方法が用いられ、ユーザの距離、空間オフセット、並びに距離及びオフセット毎の目の位置に基づいて、ユーザ又はユーザの目とカメラの位置との間の投影変換誤差が算出されるか、又は測定される。光学の歪みを補正するためにさらなる変換がおこなわれてもよい。

さらに他の実施形態では、きわめて正確な結果をもたらすことが示されている位置合わせ方法が用いられる。この方法では、オフセット、投影、又は後方に方向づけられたカメラのうちの少なくとも１つからの原画像のオフラインの真の位置合わせ技術に基づいて、ユーザの目がカメラを見ているときにユーザの前で撮像された画像に変換が予めプログラムされる。基準画像は複数のカメラからスティッチングにより生成されることが可能である。例として、基準カメラは例えば目の高さでユーザから２〜３ｍである、ほとんどの光学の歪みを抑える同様の高さ及び距離に配置される。位置合わせにより、目や複数のポインタに基づいた全身を一致させるような最適な変換が生成される。一実施形態では、例えば人・人形のターゲットなどである２Ｄ又は３Ｄキャリブレーション用ターゲットにおける、例えば白い点である複数のポインタは、身体中心の周囲に２次元格子を形成する。例として、足、胸、肩、目などに円形のシールが配置されてもよい。正確性を向上するために、この位置合わせは、例えば、ブロードサイド方向、複数の高さ、複数の距離などからの複数の空間オフセットを表すためにスクリーンの前のユーザの複数の配置・位置で反復されてもよい。各位置において、複数の位置合わせ技術（例えば、投影、アフィン変換、相似、多項式、又は任意の組合せなど）で補正されることができる複数の歪み（投影、樽型、魚眼、又は任意の組合せなど）を想定し、可能な限り最適なマッピングが作り出される。

上述された実施形態が以下のさらなる改善と共に適用されてもよい。単一のカメラからの歪みを最少化するために、又は視野を拡大するために、解像度の質を改善するように配置される複数のカメラと共に画像スティッチングが用いられてもよい。画像スティッチング要素はユーザの幾何学的位置に基づいて統合されたスティッチングであってよい。仮想の目の位置に関するオフセットは様々であるので、各カメラはそれ自身の変換補正を有してもよい。また、複数のカメラは３次元表示を生成するために用いられてユーザ体験を向上することも可能である。

また、３次元赤外線（３Ｄ ＩＲ）画像も生成され得る。そのような画像はユーザの正確な仮想モデルを生成するために用いられ、そして仮想の着装及び拡張現実のためのＡＰＩを可能にするように用いられてもよい。拡張現実を使用することで、背景を変更すること、物品を挿入すること、様々な衣服を仮想で着用することなどが可能である。これはまた、ユーザのボディランゲージの分析や、拡張現実のアプリケーション、仮想上の着装アプリケーション、ゲーム、テレビ会議などと連結して用いられてもよい。

スチル又は映像のいずれかの画像をシステムが記録することから、様々な分析が画像においておこなわれ得る。例として、何回微笑んだか、楽しんで経験したか、推定年齢、性別、人種などの、ユーザ又は店舗の実績情報を収集するために、映像分析及び／又は店舗分析が用いられてもよい。電子商取引を実際の試用経験に統合する補助になり得る、又は任意の他のアプリケーションに対する拡張機能としての、行動分析プラットフォーム用に種々の入力が用いられ得る。例として、システムはユーザが使用する商品を分析し、店舗在庫、３Ｄプリント、及び電子商取引ウェブサイト、電子商取引におけるスタイリスト、ソーシャルネットワークなどと連結されることが可能である。

ここで、画像の変換をおこなって鏡を再現する画像を生成する本発明の実施形態のブロック図である図９を参照する。図９に示されるシステムの様々なモジュールは、プログラムされた一般的用途のコンピュータ、ＤＳＰ、ＣＰＵ，ＧＰＵ，カメラＤＳＰ／ＡＳＩＣ、スクリーンＤＳＰ／ＡＳＩＣ、スタンドアローンのコンピュータ装置、ＦＰＧＡカード、ＤＳＰ装置、ＡＳＩＣ、並列クラウドコンピューティングなどに適用されてもよい。

ブロック９３０は、画像を画像グラバモジュール９３２にストリーミングする１つ以上のカメラ１：ｎを表す。ブロック９３０は、スチル及び／又はビデオカメラ、ＩＲカメラ、２次元及び／又は３次元カメラ装置を含んでもよい。また、電気音響又は電子式距離計などの距離計を含んでもよい。

画像グラバモジュール９３２は、ブロック９３０からストリーミングされる画像を捕捉し、画像の質を向上させるためにフィルタを適用してもよい。さらに画像の最適化に必要とされるようなクロッピング又は画像のサイズ変更をおこなってもよい。複数のカメラが使用される場合、グラバモジュール９３２はより品質の高い、又はより広く有効な視野に必要とされるような画像スティッチングを適用してもよい。

トリガイベントモジュール９６０は、その入力を画像グラバモジュール９３２から直接的に取得可能である並列処理であるが、アイズマッチモジュール９３４の後の画像も取得可能である。入力はサイズ、帯域幅、及び要求される機能をおこなう速度について最適化されてもよい。トリガイベントモジュール９６０に属し得る要素の例として、例えば背景差分、予め規定された領域の変化、パターン認識などに基づいてユーザがカメラ９３０の前に立っているということを特定すること、例えばステレオカメラ、３Ｄ ＩＲカメラなどの相関関係などによりユーザに対する距離を測定することが含まれる。他の実施形態によると、例えばユーザが概ね鏡の前で平坦な床に立っているので、距離、ユーザの身長又は鏡におけるユーザの理論上の視点などが、スクリーンのブロードサイド方向からのユーザの靴及びユーザの特定のオフセットの位置を測定することから推測されることが可能であるという、いくらかの幾何学的推定をおこなうことによって、ユーザに対する距離は単一のカメラの測定を用いて推定される。

顔認識モジュールは、ユーザインターフェイスの識別を容易にするために含まれてもよい。運用において、プラットフォームは各ユーザの情報を位置合わせ後に保存する必要があり、ユーザがシステムによって認識されると、システムはユーザのデータをアップロードし、更新し、品物を提案することなどをおこなうことができる。ユーザは顔認識により本人であることを知らせる必要はなく、このため時間を節約でき、使用の簡易性が向上される。また、顔認識は外観の自動記録のためのトリガイベントにもなり得る。一部の実施形態では、各セッションの記録の長さは予め規定され、顔認識が正常におこなわれると開始されてもよい。他の実施形態では、モバイルアプリケーションの機能又は専用のタブレット・モバイル・その他の遠隔操作装置など、遠隔操作技術がトリガとして用いられてもよい。

トリガイベントモジュール９６０に属し得るその他の要素は、映像分析（例えば年齢、性別、気分、心的状態、他の人気の品物の推測などの重要性のあるフィードバックを生成する）、品物の認識（システムにより、試用される品物が容易に店舗と連結され、適切な提案、迅速な購入及び在庫管理のために在庫及び電子商取引プラットフォームの向上が可能である）、挙動の識別（入力装置を伴わない円滑なユーザ制御）を含む。

アイズマッチ変換モジュール９３４は、スクリーン９４０の表示の前に画像変換をおこなう。グラバモジュール９３２から入力として画像を取得し、さらに算出された距離若しくは距離及び高さ、又は実際のユーザの視点を受信してもよい。アイズマッチ変換モジュール９３４は必要とされるマッピングを算出する。必要とされるマッピングは、例えば必要とされる画像の倍率と位置とを一致させて、カメラとユーザの理論上の視点との投影角度差の算出に基づいて直接的に算出されてもよい。代替的に、工場出荷時のキャリブレーション処理を利用した正確に一致させる方法が、カメラと鏡の前の個別の位置で算出された視点との実に精密な変換をおこなうために使用されることが可能である。さらに、ベースとなる画像と、例えば距離、高さ、ポーズ、工場でおこなわれる測定又はユーザがスクリーンの前に立っているときにリアルタイムでおこなわれる測定であるその他の１つ以上のパラメータ毎に生成された変換とが使用されてもよい。

アイズマッチ変換モジュール９３４は、ユーザの距離又はユーザの距離と目の視点との組合せに基づいてカメラの前の任意の位置で変換の補間をおこなう。ユーザの身体の様々な部分とカメラとの距離は一様ではないので、投影の歪みにより、頭部などのより近接する身体の部分が足などの離れたところの身体の部分より多くのピクセルで撮像されるという効果を生じる。結果的に、ユーザは短い足と拡大された頭部と持つように見える、すなわちより近接する身体の部分は大きく見え、離れた身体の部分は小さく見える。このマッピングは線形ではない、つまり、各ピクセルは異なる領域の長さ及び幅（ｄｘ，ｄｙ）を表すので、ピクセルの充填・アンダーサンプリングデシメーションが軸の均衡を維持するためにおこなわれる必要がある。充填方法は、任意の補間（最近傍、線形、キュービック、多項式など）、又は種々のカメラの投影によるより複合的な充填であってよい。例として、スクリーン上部及び下部のカメラは、紛失したピクセル又は正確な目の方向を補完し適切に推定することが可能である。さらなる選択として、投影の歪みの大部分を補正し、解像度を向上させる直接的な光学系（特別なレンズ・プリズム）において一部の分析をおこなうことが挙げられる。画質に影響を与えるサイズ変更の問題の一部は機械的なズームによって光学的に補償することも可能である。

選択的である仮想上の着装・拡張現実モジュール９３６がユーザ体験を向上させるために含まれてもよい。モジュール９３６の入力は、アイズマッチモジュール９３４から又は記録モジュール９３８から取得される。アイズマッチモジュール９３４は画像の変換をおこない、以下にさらなる詳細が記載される。アイズマッチモジュール９３４は、ビデオカム、テレビ会議など、鏡以外で様々に適用して用いられてもよい。さらに、モジュール９３６は、在庫、データベース、３Ｄプリント、電子商取引データベースなどとの能動的な連結を維持するＣＰＵから提供される入力要素を取得することが可能である。入力データ、モジュール９３６の使用により、転置された画像と統合されるようにデジタル画像が表示されてもよい。例として、モジュール９３６は、実際の試用及び使用可能な在庫、又はユーザのカスタマイズに基づいて品物の色を変更するために使用されてもよい。モジュール９３６のレンダリングは、ユーザが身に付けているときに撮像された品物にレンダリングをおこなうという点で通常の仮想上の着装とは異なるということが理解される必要がある。そして、例えば、異なる色で品物のレンダリングをおこなうことによって、ユーザの着用している品物の物理的外観はその色以外は変更されない。つまり、ユーザはその身体に実物を感じ、それが実際にどのような効果があり、どのように体型や外観を変えるかを見て取り、実際の折り目や伸縮などを見る。また、モジュール９３６は実際のユーザの画像にアクセサリを付加するか、又はプラットフォームに実際的な仮想上の着装の機能を付加するために用いられることも可能である。同様に、モジュール９３６は背景を拡張するために用いられ、例えば水着には砂浜の背景、夜に着用するワンピースにはナイトクラブの背景など、ユーザが着用する品物と合致する種々の環境を変更又は生成することが可能である。

映像・スチル記録モジュール９３８は、直接的にカメラグラバ９３２から、アイズマッチモジュール９３４から、又は仮想上の着装をおこなう拡張現実モジュール９３６から映像・スチルを受信する。さらに、いつ記録を開始・終了するか、ユーザごとにどの情報を保存するか、どの映像・スチルにおいてオフラインの付加的変換・拡張、現実・仮想上の着装・画質の向上などの処理をするかを示す、制御モジュール９６２からの制御信号を取得する。システム資源（ＣＰＵ／ＢＵＳ／ＧＰＵ）に負荷をかけることなく記録に使用され得る該方法には、ＧＰＵカードの符号化・復号化特性が含まれてもよい。

鏡メモリ（ステーション）に映像・画像のローカルコピーを有することに加え、画像がクラウドサービス上に自動的に複製され、任意の必要とされるサイズに自動的に符号化されてもよい。

また、記録処理により、フレームレート、圧縮、クロッピングの変更、フォーマットの変更、及び映像及び色の効果の変更がおこなわれてもよい。

システムは、記録の他に、選択的に鏡の映像のライブストリーミングを提供してもよい。例として、システムはウェブにおいてリアルタイムで任意の鏡からのストリーミングをおこなうことが可能であってよい、つまり鏡から鏡へを含む、任意の装置でストリーミングを見ることができる。

制御モジュール９６２はその他のすべてのモジュールの作動を制御する。制御モジュール９６２によって、カメラ９３０、スクリーン９４０、ＤＳＰなどを含むシステムにおけるすべてのハードウェア及びソフトウェア要素が設定される。制御モジュール９６２は、インターフェイスを含み、ローカルステーションとクラウドを利用した電子商取引９５０、その他のウェブアプリケーション９５２、スマートフォンのアプリケーション９５４などとの連結をする役割を果たす。記録モジュール９３８において記録される情報は、無線・ＩＲ・有線信号によってユーザに迅速に送達されるか、又はユーザの承認によって、Ｆａｃｅｂｏｏｋ（登録商標）、Ｇｏｏｇｌｅ（登録商標）若しくは他のものなどクラウドを利用したアプリケーションに、又は電子商取引アプリケーションと連結され得る会社のサーバに送達されてもよい。

変換が実際の画像変換に依存する場合に工場キャリブレーションモジュール９６４が使用される。カメラからスクリーンへの幾何学的方向は、工場出荷時に決定か又は測定かの少なくとも一方がおこなわれるか、又は現場で測定されてもよい。そして、オフセットによりキャリブレーションと工場出荷時の設定とが合致されてもよい。さらに補正は、床に対する鏡の設置における高さ又は角度に合致されてもよい。キャリブレーション処理は以下のように適用されてもよい。第一段階は、様々な個別の距離、特定の方向、目の様々な反射位置（つまり理論的な視点）で、画像が鏡においてどのように見えるべきかについての鏡の基準を生成することである。基準は以下の複数の方法で取得される。

１. 図１０Ａに示されるように、カメラ１４は、「想定される」鏡及びユーザの目の高さの位置又はそれに近い位置に配置される。ポインタ（例えば白いシールの点１０）を伴ったユーザ又は人形は、カメラを見たときにカメラの歪みの大部分が取り除かれるようなカメラからの距離に配置される。画像のスケーリングは、鏡において想定される反射の実際のサイズ又はわずかに小さいサイズを表すように合致及びクロッピングされることができる。すなわち、生成された基準画像は、カメラの位置に設置される鏡におけるユーザの実際のサイズに、又は（スクリーンのサイズ次第で）望ましくはスクリーンに適合するようにより小さいサイズに合致させる必要がある。

２. 図１０Ｂでは、ポインタを伴ったユーザ又は人形は、従来の鏡１２の前に配置される。カメラはユーザの位置に配置され、ユーザの目の高さに配置され、鏡における反射を撮像する。また、基準画像は、歪みを取り除くために例えばユーザの前の垂直の列のカメラアレイで撮像されてもよい。その後、複数の画像についてスティッチングがおこなわれ高解像度で低歪みの均一の画像が取得される。また、グーグルグラスもこの方法においてキャリブレーションに選択され得る。カメラを装着するユーザ・ターゲットは通常の鏡の前で自身の写真を撮像する。ＦＯＶは固定されていることから、唯一おこなう必要があることは実際のサイズに画像をサイズ変更することである。

基準画像が取得されると、カメラを例えばスクリーン上部である実際の使用位置に設置することで他の画像が撮像され、これは本明細書では実像として言及される。そして実像のポインタを基準画像のポインタと一致させることで基準及び実像の位置合わせがおこなわれる。位置合わせ情報より、歪んだ画像を正しい目及び身体の方向に最適化できる変換が抽出される。また、現場において実際に設置される幾何学的位置に基づいて、変換に対するオフセット又は補正が付加されることも可能である。ユーザの距離及び目の視点に基づき、カメラの前の任意の位置で変換の補間がおこなわれてもよい。

図１１は、本明細書に記載されるシステムにおいて用いられ得る、本発明の実施形態における処理を示すブロック図である。処理は、１１００において、一実施例として以下の段階を用いて適用される工場出荷時のキャリブレーション処理で開始される。キャリブレーションのターゲットは例えば人形、ユーザ、ボードなどから選択される。そして、例えば図１０Ａに示されるシール１０であるターゲットのポインタは、ターゲットに配置される。その後カメラは、例えば図８に示されるようにスクリーン上部で下向きに傾斜してその使用位置に設置され、最大範囲を撮像するように設定される。ターゲットのスナップショットが複数の位置（つまり距離、高さ、オフセットなど）で撮影される。一方で、簡易性のために、スクリーン前の垂直の中心線に沿って複数の距離で画像を撮影してもよい。そして例えば、図１０Ａ又は図１０Ｂで示される方法のいずれかによって、１つ以上の基準イメージが取得される。一実施例では、カメラはスクリーンの同一の位置で目の高さに配置される。そして、同一のターゲットの１つ以上のスナップショットが、割り当てられた同一のポインタを使用して撮影される。１つの画像のみが撮影される場合、カメラの歪みを回避するために適切な距離で撮影される必要がある。複数の基準画像が撮影される場合は、ユーザが鏡に近づくと発生する小さな変化を撮像するように複数の距離で撮影される必要がある。しかしながら、複数のターゲット及び複数の基準画像が取得される場合は、適切な変換を生成するために同様の距離及び同様の位置に配置されることが賢明であろうということが言及される。基準画像は、スクリーン上に実際のサイズで表されるように、つまりスクリーンの位置に配置された鏡に反射されたサイズを再現するように、サイズ変更されることが可能である。

ターゲット及び基準画像が取得されると、傾斜されたカメラで撮影されたターゲットの歪んだ画像が、スクリーンの位置に配置された鏡にユーザがどのように現れるかを示すようにポインタを用いて基準画像に位置合わせされる。位置合わせの出力は、例えば１つは入力画像、１つは基準画像である２つの座標をそれぞれが有する一連のポインタである、変換の演算子である。種々の変換が複数のターゲット及び基準画像でテストされてもよい。例として、最適に合致して実行されるために複数の歪み関数が適用されてもよい。基本的な関数は投影、サイズ変更、ＸＹ移動（オフセット）及び左右反転であり得る。最適な変換の組合せが選択され、マッピング変換が各キャリブレーション点に対して生成される。このマッピング変換は工場出荷時のキャリブレーションであり、これにより現場でのライブ画像が鏡像を再現するように変換される。マッピングは、鏡の反射を最適に表すために、各ライブ画像の各ピクセル又は各部分用の様々な変換を含み得るということが理解される必要がある。

段階１１００は、理解されるように、システムの出荷前に工場において適用されることが可能である。一方で、特にカメラ及びスクリーンが個別の構成要素として提供されるときに、数々の状況でカメラがスクリーンに対して様々な位置に配置されるので、この処理は現場でおこなわれてもよい。このような場合、ユーザが標準的なターゲットを用いて現場でキャリブレーションをおこなうことができるように、例えば人形（３Ｄターゲット）又はキャリブレーションの印を備えたボード（２Ｄターゲット）などのキャリブレーションのターゲットと共にシステムを提供することが有効である。そしてシステムは、キャリブレーション処理をおこない変換マッピングを現場で生成するために予めプログラムされていてもよい。

システムが使用位置に設置されると、処理は１１０５になり、ライブ画像又はユーザの映像が取得され、例えばフレームグラバによって取得される。同時に、ユーザの視点が決定されるようにユーザの位置が測定される。これはＩＲ測定技術を用いて、又は例えばＭｉｃｒｏｓｏｆｔ（登録商標）社から入手可能なＫｉｎｅｃｔ（登録商標）などの利用可能なセンサを用いておこなわれることが可能である。段階１１０５では、スクリーンのサイズとユーザの身長とを一致させるために、必要であれば選択的にスケーリング係数が適用されてもよい。

段階１１２０では、スクリーン前の特定の位置におけるユーザに対して補正マッピングを生成するために、適切な変換マッピングが選択されるか、工場出荷時のキャリブレーションである標準的なマッピングが補間される。そして、変換マッピングは、アイズマッチモジュールによってライブ映像に適用される。この文脈において、用語「ライブ」は、フレームグラバによって取得され、表示のためにモニタスクリーンに送信される前にバッファに存在するビデオフィードにも関する。また変換のために必要であれば、段階１１２５において、紛失したピクセルが補間技術によって充填される。段階１１３０では、画像は表示のためにバッファからスクリーンに送信される。段階１１０５〜１１３０は、スクリーンへの画像の表示においてユーザがどのような遅延も知覚できないように、市販の入手可能な高速プロセッサによりリアルタイムでおこなわれることが可能であり、これは本明細書では「リアルタイム」又は「ライブ」表示として言及されるということが理解される必要がある。

アイズマッチモジュールは、日常的なやりとりと同等である一層自然な環境を提供するために使用され得る。例として、Ｓｋｙｐｅ（登録商標）を使用するなどしてＰＣを使用してテレビ電話をかける場合に、通常はカメラがモニタの上部に配置されており、電話をかける人は実際にはモニタを見ていることから、カメラから目をそらしているように見える。このとき電話をしている人が会話時に互いを見ていないので会話に不自然さを与える。そのような場合に、電話をする人がビデオカメラを直接的に見ているように思われるような変換がモニタ上に表示される画像において適用されるために、アイズマッチモジュールは用いられることができる。変換は発信者又は受信者のコンピュータのいずれかでおこなわれることが可能である。例として、ビデオカメラがテレビ会議用に作動されるときにはいつでもアイズマッチモジュールがビデオカメラからの信号を捕らえ、映像がＳｋｙｐｅ（登録商標）アプリケーションを介してその他のユーザにストリーミングされる前に変換を適応するように、Ｓｋｙｐｅ（登録商標）を使用するユーザは自分のコンピュータにアイズマッチモジュールをインストールしてもよい。その他のユーザが映像信号を受信するとき、電話をする人がビデオカメラを直接的に見ているような画像をその他のユーザが見ているというように、その信号は既に変換されている。同様のことが、ＷｅｂＥｘ（登録商標）、Ｐｏｌｙｃｏｍ（登録商標）などの標準的なテレビ会議システムに適応可能である。

図１２は、本発明の実施形態におけるキャリブレーション及び画像変換をおこなうためのモジュール及び処理を示すブロック図である。ブロック１２３０は、１つ以上のスチル若しくはビデオカメラ、ＩＲカメラ又は距離測定センサ、３Ｄカメラ装置などを含み得る画像取得モジュールを表す。モジュール１２３２は、例えば適切なＦＯＶを取得し、スクリーンの前の適切な領域を撮影し、焦点及び／又は解像度を設定するなどのために、カメラの最適化設定を制御する。モジュール１２６０は、スクリーンの前のユーザの存在を特定し、画像の取得及び変換処理を開始するために用いられ得るトリガイベントモジュールである。システムは、その他のときに、ユーザが検出されるまでスクリーンに背景画像のみを表示してアイドル状態に設定されることが可能である。

括弧１２６０は、現場での設置用に構成されたシステムであり、図１でも例示されるように、カメラ１２３０が表示用スクリーン１２４０の上部に配置されるシステムについて本明細書に記載されるキャリブレーション処理を含む。キャリブレーション１２６０は、出荷前に工場において又は設置後の現場においておこなわれることが可能である。１２６１ではポインタを有するターゲットが配置され、１２６２では一連の基準画像が（例えば目の高さで前方向を向いたカメラを用いて）取得され、対応する一連の入力画像が（例えばスクリーン上部で下向きであるという現場に設置された位置のカメラを用いて）取得される。１２６３では、各入力画像のポインタは、変換ベクトルを生成するために対応する基準画像における対応するポインタに一致される。また、鏡の表示が必要とする画質次第で、ユーザに目の周囲の領域に対応するベクトルは選択的に１２６４において微調整される。

１２６５では、基準画像に入力画像のポインタを一致させることを用いて、最適な画像の一致を提供する変換パラメータが決定され選択されることが可能である。変換に用いられ得るパラメータは以下ものを含む。高い効果がある変換パラメータは傾斜変換である。傾斜変換は下向きに傾斜したカメラが原因となる画像の歪みを補正する。傾斜変換は下向きのカメラで撮影された入力画像を変形し、カメラがまっすぐ水平に向けられているように見せるために画像を変換する（ビデオエンジンは方位角誤差を補正することも可能）。他の変換パラメータは仰角移動である。仰角空間移動変換は、例えばスクリーン上部などのスクリーンの外部に設置されたカメラで撮影される画像のオフセットを線形に変形し、画像がユーザの目の高さでスクリーンの位置から撮影されたように見えるように画像を変換する（スクリーンの高さの画像と目の高さを一致させる）。また、水平移動はカメラとスクリーンの中心との間違った位置合わせを補正するために適用され得る。鏡を再現するための他の重要な変換はスケーリングである。上記で解説されたように、実際の鏡の反射では、ユーザが鏡に近づくときに身体の像のサイズにおける変化はほとんどわからない。反対に、カメラの像では、サイズはカメラに対する距離で有意に変化する。スケール変換はスクリーンに対する距離でサイズが変化するという効果を低減するので、ユーザは、スクリーンに対する距離にかかわらず、スクリーンにおいてほぼ一定のサイズの自分自身を見る。また画像のＸＹ移動は、カメラの位置及びＦＯＶ次第で必要になり得る。

実際に、傾斜、仰角及びスケーリング移動をおこなうことにより、鏡の反射を至って効果的に再現するためには左右を反転させることのみが必要とされるという極めて説得力のある画像が提供されるということが示される。さらなる向上のため、樽型効果変換及び魚眼変換が使用されてもよい。追加的に、画像のピクセルの強度及び／若しくは色を操作することで人工的に、又はスクリーン若しくはユーザに対して意図的にＬＥＤを配置するなどの照明要素を制御することで物理的に、のいずれかで照明及び陰影を付加することによって、投影された画像に深度感覚を追加してもよい。さらに、３Ｄ眼鏡の使用で、又は眼鏡を使用しない３Ｄ技術を用いて、のいずれかで３Ｄ効果が生成されてもよい。眼鏡を使用しない３Ｄ技術では、異なる一連の画像がそれぞれの目に投影される。記載される実施形態において、ユーザに対する距離及びユーザの目の位置は測定されるか又は推定されるので、ユーザのそれぞれの目に異なる一連の画像を投影することによってユーザに３Ｄ画像を投影することは容易になる。

段階１２６６では変換マッピングが生成され保存される。この変換マッピングは、ユーザとの推定距離を利用して撮像１２３０からのライブビデオフィードを変換するために１２３４で用いられる。変換マッピングの操作次第でピクセル充填が必要とされ得る。例として、スクリーン上部で下向きに傾斜したカメラの使用によって、ピクセル充填を用いて向上される画像を提供する傾斜及び仰角変換が必要とされ得る。これは１２３７でおこなわれ、取得された画像は１２４０でスクリーンに表示される。ライブビデオフィードにおける変換及びピクセル充填の適用は、適切な処理能を使用してリアルタイムで容易におこなわれ得る。

図１３は他の実施形態を示し、システムの設置後に現場でキャリブレーションと変換マッピングがおこなわれる。図１３の実施例では、カメラ１４は映像スクリーン１２の上部に配置され、下向きに傾斜されている。カメラ１４とスクリーン１２とは通信し、コントローラ１８によって制御される。ユーザには、有線又は無線技術を使用してコントローラ１８と接続される入力装置１６が提供される。ユーザは、例えばスクリーン１２から２〜３ｍの適切な位置に立ち、例えば遠隔入力装置から「キャリブレーション」指令を入力してキャリブレーション処理を許可する。キャリブレーション処理時に、ライブ映像ストリームがカメラ１４からコントローラ１８に送信され、コントローラはスクリーン１２に表示する前に垂直の中心軸に関して画像を「反転」する（左から右へ）。ユーザは入力装置を用いて様々な変換関数を実行する。例として入力装置は、図１３に概略的に表されるように、傾斜、仰角、及びスケーリングを補正するための入力ボタンを含んでもよい。ユーザの入力指令はコントローラ１８に伝送され、コントローラ１８は画像がユーザの目の前においてリアルタイムで変更されるようにフィード画像にリアルタイムで変換を適用する。ユーザがスクリーン上の画像を見て満足し、キャリブレーションの完了を示す入力ボタンを押下する時点まで、ユーザは各変換関数の量を変更してもよい。そして、コントローラ１８は適切なキャリブレーションパラメータを保存し、これらの変換パラメータを以後のあらゆるライブビデオフィードに用いる。

図１３に示される他の特徴は距離の算出である。スクリーン１２に関するカメラ１４の位置及び傾斜は既知であることから（例えばスクリーンの上部においてカメラに装着された固定ブラケットのため）、カメラ１４によって撮像された画像は三角測量及び距離算出に用いられ得る。例として、カメラ１４によって撮像されるライブ映像ストリームのフレームにユーザが現れるとき、スクリーン１２に対するユーザの距離を算出するためにユーザの靴の先端と三角測量がおこなわれてもよい。ユーザの動作を捕捉するためスクリーンからのユーザの距離が連続的に更新されることが可能であるように、この演算はフレームのすべての固定数ｎでおこなわれることができる。鏡の前にユーザがいなくなると背景は更新される、これは適応型背景である。

図１３に示されるさらなる特徴は、深度及び／又は雰囲気を作り出すための照明の使用である。特に、ＬＥＤアレイなどの複数の照明源１７がスクリーン１２に関して様々な位置に配置され、コントローラ１８によって制御されることが可能である。照明源１７は影や照射される領域を付加して画像にさらなる深度を作り出すように操作されることができる。照明源１７は、存在する照明を改善し、表示される画像において適切である全体的な「温度感」を創出するように様々な色であってよい。また、照明源は、統一感のある画像を創出し、店舗の照明によって生成される画像の乱れを除くためにユーザの距離により調整されることも可能である。代替的に又は追加的に、色及び照明の変更はカメラ１４から受信されたデジタル画像上にコントローラによって直接的におこなわれてもよい。例として、色の変換は、例えば光沢、鮮明、シャープ、つや消し、メタリックなどである画像を提供するパラメータを操作して像の鏡における外観を向上するために用いられてもよい。また、コントローラ１８は、画像により深度を作り出すために、画像に仮想の照明及び／又は影スポットを付加することも可能である。さらに、通常はフラットパネルディスプレイに関連する反射を取り除き低減するために、反射防止膜がスクリーン前に提供されてもよい。ＬＥＤアレイは照明センサ及び／又は照明温度センサと接続されること、並びに、特定の照明及び照明温度レベルが継続するように予め規定されることも可能であり、自動的に調整され得る。

さらなる実施形態において、３Ｄ撮像は、互いの間が距離Ｄである２つのカメラによって適用される。距離Ｄは、人間の目の間の平均的な距離として算出され、一般に瞳孔間距離（ＩＰＤ）として言及されており、成人では約５４〜６８ｍｍである。変換は、ユーザの目の間の距離と同様でもある空間位置の２つの基準（ベース）カメラから取得される画像と、距離Ｄの入力カメラから取得される画像との位置合わせにより算出される。位置合わせ用のベースはＫｉｎｅｃｔ（登録商標）又はＩＲ ３Ｄカメラを用いて撮影されることが可能である。また、グーグルグラスもキャリブレーションの選択肢になり、グーグルグラスを着用するユーザ・ターゲットが通常の鏡の前で自身の写真を撮影してもよい。ＦＯＶが固定されていることから、唯一おこなう必要があるのは画像のサイズを実際のサイズに変更することである。コントローラ１８などの画像変換モジュールは、ユーザがスクリーンに画像を適合させるか、又は一部分に焦点を合わせるように拡大・縮小するために、画像のサイズ変更を適用することも可能である。

理解されるように、上記の実施形態の一部は、画像の位置合わせ又はその他の経験による方法によって変換マッピングを生成することに関するが、代替的に、カメラと理論上のユーザの視点との歪みの直接的な算出が分析に基づいておこなわれてもよい。分析の使用によりあらゆる位置合わせ処理の必要性がなくなる。代わりに、分析的マッピング変換が歪みを補正するために生成される。

また、図１３に示される他の特徴は、変換及び鏡の表示に関する処理を提供するためのインターネット又はクラウドの使用である。例として、一実施形態では、変換は、十分に高速の接続がある場合にクラウドで実際におこなわれてもよい。そのような場合に、カメラ１４からのフィードは、変換が適用され、モニタスクリーン１１に表示するためにコントローラ１８に送り返すサーバ１８１に配信されることが可能である。他の実施形態によると、カメラ１４からの画像又はカメラ１４からの変換画像はクラウドに保存され、スマートフォン１８３、タブレット１８７などの装置、及びフラットパネルテレビなどの他のモニタスクリーン１８９にストリーミングされることができる。これは、ユーザが衣類を試着しているときに、ユーザがその経験を共有し、離れた場所にいる他の人から意見をもらえるように、リアルタイムでおこなわれることが可能である。また、ユーザが店舗を出ると、スマートフォン、タブレット、ＰＣなどを用いて取得されたすべての画像を利用することができる。ユーザインターフェイスを簡易にする目的で、図１３のモニタ１８９に示されるように、ユーザが表示から選択することができる様々な試用のサムネイル画像が現在の画像と共に表示されてもよいということが言及される。

図１４はカメラ１４３０の画像からデータを抽出するための実施形態を示す。トリガイベントモジュール１４５０はユーザの存在を検出し、データを抽出するための処理を作動させる。カメラ最適化モジュール１４３２は、データ抽出に最適な画像を取得するようにカメラを制御するために使用されることができる。この実施形態では、カメラ１４３０はスクリーン上部に下向きに配置され、スクリーンから例えば１ｍ〜４ｍのユーザの靴を視野に入れることができる。しかしながら、カメラは下向きであり、ユーザの頭部と比較して靴はカメラから離れた距離にあることから、歪みは最大になる。上述された変換マッピングにより、あらゆる距離で強制的な歪みの改善が図られる。

さらに、この実施形態によると、ユーザの画像は、１４６２で背景から分離される。１４６４では、中心部分は、ユーザのバイナリ画像をインデックスマトリクスとのみ乗じ、ピクセルインデックスの平均をとって算出される。また、中心部分（ｊ、ｋ）以下の最小の身体ピクセルはｋ（中心部分）周囲のウィンドウを開いて、より低いアクティブインデックスを検出することによって決定され、これにより靴の端部が表されると考えられる。１４６８では、頭頂部の検出及びカメラの距離分解能、ＦＯＶ，及びカメラの幾何学的傾斜に基づいてユーザの身長が算出され、ユーザの身長が推定される。

図１５は、ｎ個のカメラからの画像のスティッチングがおこなわれる実施形態を示す。スティッチングは、ユーザがスクリーンに近づくときの画像の解像度及びＦＯＶの向上に特に有効である。図１５の実施形態では、ｎ個のカメラのライブフィード１５３０、１５３２（１：ｎ）が共にスティッチングされる。トリガイベントモジュール１５６０は、ユーザがスクリーン前に検出されたときにスティッチングのトリガに用いられてもよい。また、距離の測定は、ユーザに対する距離の平均を表す単一の値か、又は例えば各カメラに１つの距離値である複数の値のいずれかで提供されてもよい。反対に、又は追加的に、身体の種々の部分の様々な距離を複数の距離値が表すように提供されてもよい。

カメラの位置及び方向はユーザの視点に関して異なるので（１５６４、１５６６）、各カメラについて、カメラの個別の最適化（１５３３、１５３６）がおこなわれ、そして各カメラからのフィードには様々な幾何学的変換（１５６０、１５６２）がおこなわれてもよい。オーバーレイ決定１５７０はスティッチングをおこなうのにどこが最適であるかを決定するための決定要素である。１つはスクリーンの上部、１つはスクリーンの下部に配置された２つのカメラを用いる方法である場合、オーバーレイ決定は最適な切り取り部分のインデックスを示す。また、常に距離測定がおこなわれることから、ユーザが鏡に近づくとスティッチング線をほぼ固定させて保持することが可能である。性能を最大限にするため、スティッチング１５７２はカメラからのユーザの距離に基づいて最適化される必要がある。平滑化１５７４は、種々のカメラからの種々の画像の交差で生成され得る線をフィルタ処理により除くために必要とされる。種々のカメラからの画像は、絶対的画質及び照明における差、また各カメラの種々の歪み補正のため、わずかに異なり得る。複数列の画像同士の間を間引きすることが照明の影響を軽減するために用いられてもよい。スティッチングされた画像は１５７６における出力である。

上術された実施形態において、変換マッピングは、カメラによって取得された画像を補正し、鏡から反射するであろう画像を再現する画像を提供する。図１６に示される以下の実施形態は、目の提示における画質を向上する。この実施形態の背後にある着想は、目の領域、又は単に目をブロードサイド方向視の印象を作り出す修正ピクセルでオーバーライドすることである、すなわち、鏡の中の自身を直接的に見るユーザを最大限に再現する目を提示することである。理解されるように、ユーザはスクリーンに投影される自分自身を直接的にみるが、カメラは水平に方向づけられた目の高さに配置されないので、カメラによって撮像されるユーザの目はまっすぐに前を見ているようには見えない。図１６の実施形態はこの問題を補正する。

図１６の要素の大部分は図１２と同様であり、１６ＸＸの番号であることを除いて同様の参照番号を有する。これらの要素は再度記載をされないが、代わりに目の補正の役割を担う要素１６８０について言及される。スケーリングについては先行する要素によって既に補正されていることから、この段階でおこなわれる必要があるのは、適切な像を表示するために、例えば、瞳孔、虹彩などの目の内部の要素を固定及び／又は再構成することである。

モジュール１６８０は、まず画像における目の位置特定をし、ユーザが実際にスクリーンを見ていることを確認する。この段階及び補正の情報は、過去の画像、標準の統計的な目の比率の推定、又はユーザがカメラを直接的に見る場合若しくは変換マッピング後で歪みが比較的少なく、ユーザがスクリーンから十分に離れて立つ場合の実際の測定から、推測されることができる。ユーザがスクリーンを見ていると認められる場合、目の領域に対応するピクセルは、変換されるか、又は虹彩及び瞳孔を目の中心で前向きに配置させるピクセルに実際に置換されるかのいずれかである。また、特にカメラが上部に配置され下向きである場合に、まっすぐな視線を再現するために強膜が拡大されてもよい。

上述の実施形態のいずれかで適用され得る他の特徴は、変換パラメータの更新の頻度である。つまり、ユーザが鏡を再現するスクリーンの前に静止して立つ場合はしばしば安定的な画像を好む。ユーザが静止しているときに変換マッピングエンジンを変更することにより不快感がもたらされ得る。一方で、ユーザがスクリーンに向かって又はスクリーンから離れて素早く移動するときには、変換パラメータを迅速に更新することがよい。従って、この特徴にしたがって複数の行動領域が確立される。一実施形態では、行動領域は距離のみによって設定される。例として、ユーザが設定された距離量よりも移動する場合にビデオエンジンは更新される。一実施形態では、ユーザが例えば２５ｃｍ未満の距離を移動する場合に変換マッピングは例えば毎ｘ秒の低速でおこなわれる一方で、ユーザが２５ｃｍを超えて移動する場合には、変換マッピングは直ちに高速でパラメータを更新する。他の実施形態では、領域はユーザの動作の速さによって設定される。例として、ユーザがｘｃｍ／ｓ未満で移動することが測定される場合、第１の変換更新頻度が適用される一方で、ユーザがより速く移動する場合に、第２のより速い更新頻度が用いられる。

こうして上記より理解されるように、リアルタイムでのビデオエンジンの更新がユーザを撮像するために用いられてもよい一方で、モニタスクリーン用の表示変換は、ユーザの行動次第で必ずしもリアルタイムで変更されなくともよい。例として、ユーザが比較的静止しているか、又は著しく緩慢に移動するとき、変換パラメータは準リアルタイムで変化し得る。そして、ユーザがより速く又は大きい距離を移動し始めるとき、ビデオエンジンはより頻繁に更新される。

上述で記載された実施形態は、デジタルカメラ（例えばビデオ）及びモニタを用いて適用され、カメラからの画像がプロセッサに供給されてもよいということが理解される必要がある。プロセッサは変換マッピングを画像に適用し、ディスプレイモード又は鏡モードのいずれかでモニタに画像を表示する。上述より、鏡モードは変換マッピングで変形されたライブビデオフィードをモニタに表示することによって適用されてもよいということが理解される必要がある。すなわち、鏡モードでは、モニタに表示される画像はリアルタイムで撮影されるユーザの画像・映像である。一方で、ディスプレイモードでは、表示される画像は過去に取得され、記憶装置から取得された画像・映像である。保存された画像はカメラから供給された原画像か、又は既に変換された画像のいずれかであってよい。どちらの場合も、ディスプレイモードにおいて表示されるような以前の画像は変換された画像である。故に、保存された画像が原画像である場合に、プロセッサはモニタに画像を表示する前に変換マッピングを適用する。

システムがディスプレイ又は鏡モードのいずれで作動するかは、時間的な問題として考えられる。鏡モード時においてモニタに表示される画像は、特定の瞬間（僅かな又は感知できない以前の時間）にカメラが視認するものを変換した画像であり、一方でディスプレイモード時において表示される画像は、カメラ又はその他のカメラが以前に視認したものを変換した画像であり、カメラが現在視認しているものとは異なる。この問題は知覚にも関連し、鏡モード時には、モニタはカメラが現在視認しているものの変換された画像を表示するので、モニタを見るユーザは自身が鏡を見ているという知覚をする一方で、ディスプレイモード時には、モニタを見るユーザは過去に起こったことの映像を見ているという知覚をする。

システムは、個別に、そしてモニタスクリーンとは関係なく適用され得るということが理解される必要がある。例えば、いくつかの場所（例えば試着室）においてはカメラはなくモニタスクリーンのみが設置されてもよい。モニタは保存された画像をダウンロードし表示するためにシステムと通信するように構成される。ユーザは、例えば現在の衣類と比較する目的で以前に撮影された画像を見るために、モニタとの対話をおこなってもよい。他の実施例では、ユーザが例えばタブレットのアプリを用いてＰＣ又はモバイル装置で画像を見ることができるように、撮影されたあらゆる画像はクラウドにアップロードされてもよい。上述から理解可能であるように、本発明の様々な実施形態において、カメラからのデジタル画像を受信するための画像入力ポートと、モニタに表示されるかメモリに保存される転置された画像を出力するための転置画像出力ポートと、入力ポートからの画像を受信し画像に変換を適用するようにプログラムされた転置モジュールとを含む画像変換装置が提供され、変換は、画像の右側と左側とを反対にするように垂直軸について画像を反転することと、鏡の反射を再現しているように見えるように画像を変形するために変換マッピングを画像に適用することと、カメラに対する物体の距離が変化することによってもたらされる変動を低減するために画像のサイズ変更をおこなうこととを少なくとも含む。その他の実施形態では、コンピュータ上で作動されるとき、転置画像が鏡からの反射に類似するように、カメラから取得されたデジタル画像をコンピュータに転置させるプログラムが提供され、転置は、画像の右側と左側とを反対にするように垂直軸について画像を反転することと、鏡の反射を再現しているように見えるように画像を変形するために変換マッピングを画像に適用することと、カメラに対する物体の距離が変化することによってもたらされる変動を低減するために画像のサイズ変更をおこなうこととを少なくとも含む。プログラムは、サーバ、ＰＣ，タブレット、スマートフォンなどの任意一般的用途のコンピュータで作動されることが可能である。

さらなる実施形態では、デジタルスクリーンに鏡の画像を再現する画像を投影させることによって、ユーザがデジタルスクリーン上で自分自身の画像を見ることを可能にするシステムが提供される。システムは、ユーザの画像ストリームを生成するデジタルカメラと、カメラから画像ストリームを受信するための画像入力ポートを有し、鏡におけるユーザの反射を再現する変換画像を生成するように画像に変換を適用し、モニタに表示される転置画像ストリームを出力するための出力ポートを有するコントローラと、変換画像を保存するための記憶装置とを含む。さらに該コントローラは転置画像ストリームをクラウドにアップロードするためのインターネット接続を有する。該システムはさらにダウンロードを可能にし、クラウドから変換画像を閲覧するクライアントを有する。

種々の実施形態において、コントローラは、画像の右側と左側とを反対にするように垂直軸について画像を反転することと、鏡の反射を再現しているように見えるように画像を変形するために変換マッピングを画像に適用することと、カメラに対する物体の距離が変化することによってもたらされる変動を低減するために画像のサイズ変更をおこなうこととを含む、画像ストリームに対する変換を適用する。マッピングは実質的に新規アドレスを元の画像の各ピクセルに再割り当てする。変換マッピングは目の高さで取得され水平に方向づけられたカメラから撮影されたように見える画像を生成する。変換マッピングは傾斜変換及び仰角変換を少なくとも含み、傾斜変換はカメラの傾斜に類似するように画像を変換し、仰角変換はカメラの仰角の変化に類似するように画像を変換する。

変換マッピングは角度、傾斜、方位角、スケール、空間移動（即ち、仰角の線形オフセット又は水平オフセット）などを含むものであってよい。最終的な変換は、各歪みを生成するための各変換の行列乗算である。

その他の実施形態において、テレビ会議又はテレビ電話を改善するためにシステムが提供される。該システムは、スクリーンを直接的に見るユーザの画像がカメラを直接的に見ていないユーザを描写するようにモニタスクリーンの周囲に配置されたビデオカメラで撮影された画像ストリームを変換するための変換エンジンを含む。変換エンジンは画像ストリームを受信し、カメラを直接的に見ているユーザを表示する画像を提供するように画像を変換する。変換は、角度、傾斜、方位角、スケール、空間移動（即ち、仰角の線形オフセット又は水平オフセット）などのための補正の任意の組合せを含む。また、変換は、ブロードサイド方向視の印象を作り出す修正ピクセルで目の領域、又は単に目を上書きすること、即ち、カメラを直接的に見る最大限に再現されたユーザにその目を表示するためことを含んでもよい。

様々な実施形態では、ユーザの目の間の距離又は頭部のサイズを追跡することによって、画像に現れるユーザに対する距離を算出し、そして画像をスケーリングすることがさらに含まれる。例として一実施形態では、システムは、カメラからの平均距離における、ユーザの目の間の予測される距離、即ち、瞳孔間距離（ＩＰＤ）を用いてプログラムされる。９５百分位数の米国成人男性は７０ｍｍのＩＰＤを有しており、一方で女性では６５ｍｍである。ユーザがカメラの前に感知されるとき、システムは男性か女性かをまず決定するか、又は単に直接的に距離測定プログラムに進み、例えば６８ｍｍである平均のＩＰＤ数値が用いられる。範囲測定のため、システムは画像において瞳孔を特定し、予測されるＩＰＤと一致するように画像をスケーリングする。ビデオ画像がストリーミングされ続ける場合、システムは、一定及び予測されるＩＰＤに一致するＩＰＤを維持するように画像をスケーリングする。この方法では、ユーザがカメラから離れたり又は近づいたりするときに、モニタスクリーンに投影される画像におけるユーザのサイズはほぼ同一に維持され、鏡の反射を再現する。理解されるように、システムは、耳の間の距離などその他の標準的な測定を用いてもよいが、システムが目を幾分か容易に認識可能であることから目を用いることがより簡易である。しかしながら、ユーザがサングラスをかけている場合に、システムは身体のその他の部分に基づいて他の測定をおこなう必要があり得る。この切り替えは動的に、即ち、システムが目を認識する場合にＩＰＤが用いられるが、そうでなければ身体の他の部分を代替にするというようにおこなわれてもよい。

また、照明フィルタ効果、反射テクスチャ効果、色スペクトルフィルタなどの効果フィルタが、メタリックな印象を創出するなどのために適用されてもよい。同様に、カメラのシャッターのタイミング、センサのゲイン、ホワイトバランス、及びそれらの任意の組合せが取得される画像を修正するために制御されてもよい。種々の実施形態において、パラメータに対する変更が画像全体ではなく画像の選択された領域にのみに関連するように、これらのパラメータは動的対象領域（動的ＲＯＩ）に基づいて制御される。例として、パラメータはユーザに対する距離に基づいて変更及び更新され、ユーザ周囲のウィンドウであるＲＯＩに限定されてもよい。また例として、ユーザの像は背景と分離され、パラメータはユーザの像に属するピクセルのみに適用されてもよい。

さらなる実施形態において、例えば映像を平滑化するために速いフレームレートの高解像度カメラで映像を記録し、高速のフレームレートでディスプレイを操作することによって、リアルタイムの向上した映像効果が適用されてもよい。さらに、受信した映像ストリームの背景はシステムに保存された人工的な背景に置換されてもよい。画像内の付属物やその他の要素の色または質感を追加又は変更するために追加的な映像処理が用いられてもよい。また、テレビ会議及びその他の適用のために、画像の垂直反転なしで変換がおこなわれてもよい。

本発明の特定の特徴が本明細書に示され記載されてきたが、多数の変形、代替、変更及び同等のものが当業者によって想到され得る。ゆえに、添付の特許請求の範囲は、本発明の範囲内に該当するようなこのようなすべての変形及び変更を含むことが意図されるということが理解される必要がある。

Claims (15)

1. ユーザの鏡を再現する画像をモニタに表示するための、モニタ、カメラ、及びプロセッサを備えるシステムを作動する方法であって、以下の各ステップの順序で行うことに限らず、
   カメラからライブ映像ストリームを取得することと、前記ライブ映像ストリームの各画像の為に以下を実行することを含み、
   前記画像の右側と左側とを反対にするように垂直軸を基準として前記画像を反転することと、
   前記画像に変換マッピングを適用して鏡の反射を再現しているように見えるように前記画像を変形することと、前記変換マッピングは、カメラがまっすぐ水平に方向づけられているように見えるように、下向きのカメラで撮影された前記画像を変換する傾斜変換と、画像がユーザの目の高さでモニタ位置から撮影されたように見えるように、前記画像を変換する空間移動とを含み、
   ユーザの距離を推定し、前記カメラに対する物体の距離が変化することによってもたらされる変動を低減するために前記画像のサイズ変更することによりスケール変換を実行することと、前記スケール変換は、ユーザが自身の画像をモニタに対して異なる距離でも同一のサイズで見るために、ユーザとモニタとの距離の変化を補償する適応型ＦＯＶを適用することを含み、
   前記反転、前記変換マッピング、及び前記サイズ変更をおこなった後に前記モニタに変更後画像を表示することと、を含む、方法。
2. 前記画像のサイズ変更をおこなうことは、前記変換マッピングを適用することと一体的におこなわれる、請求項１に記載の方法。
3. 基準画像を取得することと、
   前記基準画像と前記画像との位置合わせをおこなうことと、
   前記位置合わせから取得されたデータを用いて前記変換マッピングを生成することとをさらに含む、請求項１に記載の方法。
4. 移動変換を適用して前記画像を前記モニタの表示領域内に移動させることをさらに含む、請求項１に記載の方法。
5. 前記画像における陰影又は照明を向上させるために、前記モニタの個別のピクセル又は
   ピクセルの群の照度を変更することをさらに含む、請求項１に記載の方法。
6. 樽型効果変換及び魚眼変換のうちの少なくとも１つを適用することをさらに含む、請求項１に記載の方法。
7. 前記ユーザの距離次第で前記画像の解像度を変更することとをさらに含む、請求項１に記載の方法。
8. 前記変換マッピングの適用後に残存する空ピクセルにピクセル画像を外挿する、ピクセル充填のステップをさらに含む、請求項１に記載の方法。
9. 第２のカメラから第２のデジタル画像を取得することと、
   前記第２の画像の右側と左側とを反対にするように垂直軸を基準として前記第２の画像を反転することと、
   前記第２の画像に変換マッピングを適用して鏡の反射を再現しているように見えるように前記第２の画像を変形することと、
   前記第２の画像のサイズ変更をおこなって、前記第２のカメラに対する物体の距離が変化することによってもたらされる変動を低減することと、
   前記第２の画像に、前記反転、前記変換マッピング、及び前記サイズ変更をおこなった後に前記変更後画像と第２の変更後画像とのスティッチングをおこない、スティッチングされた画像を取得することと、
   前記スティッチングされた画像を前記モニタに表示することとをさらに含む、請求項１に記載の方法。
10. 前記カメラと前記第２のカメラとの視野は重なり合い、前記スティッチングをおこなうために前記視野の重なり合う部分において最適な位置を決定するオーバーレイ決定をおこなうことをさらに含む、請求項９に記載の方法。
11. 前記スティッチングによってもたらされる画像の乱れを補正するための平滑化操作をすることをさらに含む、請求項１０に記載の方法。
12. 第２のカメラから第２のデジタル画像を取得することと、
    前記第２の画像の右側と左側とを反対にするように垂直軸を基準として前記第２の画像を反転することと、
    前記第２の画像に変換マッピングを適用して鏡の反射を再現しているように見えるように前記第２の画像を変形することと、
    前記第２の画像のサイズ変更をおこなって、前記第２のカメラに対する物体の距離が変化することによってもたらされる変動を低減することと、
    前記反転、前記変換マッピング、及び前記サイズ変更をおこなった後に前記変更後画像と第２の変更後画像とを表示して、前記モニタ上に３次元画像を取得することをさらに含む、請求項１に記載の方法。
13. 前記ユーザの距離次第で、前記各ステップを前記一連の画像についておこなう速度を変更することとをさらに含む、請求項１に記載の方法。
14. 前記ライブ映像ストリームをデジタル記憶装置に保存することと、前記システムを鏡モード又はディスプレイモードのうちの１つで選択的に作動することとをさらに含み、
    前記鏡モード時に、前記カメラが特定の瞬間に視認するものを変換した画像を前記モニタに表示し、前記ディスプレイモード時に、前記カメラが過去に視認し且つ前記デジタル記憶装置から得られる変換された画像を前記モニタに表示する、請求項１に記載の方法。
15. 画像で前記ユーザの距離を推定することは、ユーザの靴を特定し前記靴と三角測量をおこなうことを含む、請求項１に記載の方法。