JP2023539159A - バーチャルフィッティングサービス提供方法、装置およびそのシステム - Google Patents

Abstract

目の周りの装身具に対するバーチャルフィッティングサービスを提供する方法、装置およびそのシステムが提供される。本開示のいくつかの実施例によるバーチャルフィッティングサービス提供方法は、ユーザの顔画像を取得する段階、装身具の画像を取得する段階、取得された顔画像と取得された装身具画像を合成する段階、および合成画像を提供する段階を含むことによって、ユーザにバーチャルフィッティング体験を提供することができる。これにより、装身具を購入しようとするユーザの利便性を大幅に向上させることができる。

Description

本出願は、２０２０年０８月１８日付で出願された韓国出願第１０－２０２０－０１００３０８０号に基づく優先権を主張し、当該出願の明細書および図面に開示された全ての内容は、本出願に援用される。本開示は、バーチャルフィッティングサービス提供方法、装置およびそのシステムに関する。より詳しくは、目の周りの装身具のバーチャルフィッティングサービスを提供する方法、その方法を実行する装置およびシステムに関する。

コンタクトレンズ（contact lens）は、視力矯正用として利用されるだけでなく、美容目的としても広く活用されている。例えば、サークルレンズ、カラーレンズなどのコンタクトレンズは、容姿に敏感な若者の間で美容目的で広く活用されている。

ところが、コンタクトレンズを購入しようとする購入者が自分によく似合うコンタクトレンズ製品を見つけることは容易ではない。市中には色や形などが異なる多様なデザインのコンタクトレンズ製品が発売されており、その中で自分によく似合う製品を見つけるためには、購入者が直接コンタクトレンズを着用し、鏡で着用後の姿を確認する必要がある。また、一般的にコンタクトレンズは、試着用が用意されておらず、試着用を着用したくてもほとんどが購入前の着用が不可能な製品群である。

すなわち、通常、コンタクトレンズの購入者が自分に似合うコンタクトレンズの製品を見つけるまでは、かなり面倒なことに直接足を運ばなければならない。

したがって、直接足を運ぶような面倒な行為をしなくても、コンタクトレンズを着用した後の姿を実際に近づけることにより、コンタクトレンズ購入者の利便性を向上させることができる方法が求められる。

本開示のいくつかの実施例により解決しようとする技術的課題は、装身具購入者の利便性を向上させるために、目の周りの装身具に対するバーチャルフィッティングサービスを提供する方法、その方法を実行する装置およびシステムを提供することである。

本開示の技術的課題は、上述した技術的課題に限定されず、言及されていないもう一つの技術的課題は、以下の記載から本開示の技術分野における通常の技術者に明確に理解することができるであろう。

前記技術的課題を解決するために、本開示のいくつかの実施例によるバーチャルフィッティングサービス提供方法は、コンピューティングデバイスにおいて目の周りの装身具に対するバーチャルフィッティングサービスを提供する方法であって、ユーザの顔画像を取得する段階、装着具の画像を取得する段階、前記取得された顔画像および前記取得された装身具画像を合成する段階および前記合成された画像を提供する段階を含むことができる。

いくつかの実施例において、前記装身具はコンタクトレンズであって、前記取得された顔画像および前記装身具画像を合成する段階は、前記取得された顔画像において目の領域を識別する段階、前記識別された目の領域において瞳孔領域を検出する段階および前記検出された瞳孔領域に基づいて前記取得された顔画像上に前記コンタクトレンズの画像をオーバーレイする段階を含むことができる。

いくつかの実施例では、前記取得された顔画像および前記装身具画像を合成する段階は、ＧＡＮ（Generative Adversarial Networks）に基づく画像合成モデルを介して前記取得された顔画像および前記装身具画像を合成する段階を含むが、前記画像合成モデルは、顔画像および装身具画像の入力を受け、合成されたフェイク画像を生成する生成器と、前記生成されたフェイク画像および本物の装身具着用画像を判別する弁別器と、を含むことができる。

いくつかの実施例において、前記装身具はコンタクトレンズであって、ユーザの入力に応答し、前記提供された合成画像を処理する段階をさらに含むが、前記提供された合成画像を処理する段階は、前記ユーザの入力に応答し、前記合成画像に含まれる２つの目の領域のうちのいずれかの目の領域に関連する合成処理を除去する段階を含むことができる。

いくつかの実施例では、前記提供された合成画像に関連するユーザの入力を受信する段階と、前記受信されたユーザの入力に応答し、前記装身具に関連する販売サイトに関する情報を提供する段階と、をさらに含むことができる。

いくつかの実施例において、前記顔画像は、第１のスタイルの顔画像であり、前記取得された顔画像と前記取得された装身具画像とを合成する段階は、ＧＡＮ（Generative Adversarial Networks）に基づく画像変換モデルを介して前記顔画像を第２のスタイルの顔画像に変換する段階、前記第１のスタイルの顔画像を前記取得された装身具画像と合成し、第１合成画像を生成する段階、および第２のスタイルの顔画像を前記取得された装身具画像と合成し、第２の合成画像を生成する段階を含むことができる。

いくつかの実施例において、前記ユーザに装身具を推奨する段階をさらに含むが、前記推奨する段階は、前記ユーザのプロファイル情報に基づいて前記装身具を推奨する段階を含み、前記プロファイル情報は、前記ユーザの目の色、目の大きさ、目の形および視力のうちの少なくとも１つの情報を含むことができる。

いくつかの実施例において、前記ユーザに装身具を推奨する段階をさらに含むが、前記推奨する段階は、前記ユーザのプロファイル情報と類似度が基準値以上であるプロファイル情報を有する他のユーザを決定する段階および前記決定された他のユーザのバーチャルフィッティング履歴情報に基づいて前記装身具を推奨する段階を含むことができる。

いくつかの実施例において、前記ユーザに装身具を推奨する段階をさらに含むが、前記推奨する段階は、ＧＡＮ（Generative Adversarial Networks）に基づく画像変換モデルを介して前記取得された顔画像を装身具着用画像に変換する段階と、前記変換された装身具着用画像に基づいて前記装身具を推奨する段階と、を含むことができる。

いくつかの実施例では、前記ユーザに装身具を推奨する段階をさらに含むが、前記推奨する段階は、ユーザの入力に応答して、前記提供された合成画像上の装身具領域の少なくとも１つのデザイン要素を変更する段階と、予め保存された複数の装身具画像のうち、前記変更された装身具領域と類似度が基準値以上である装身具を推奨する段階と、を含むことができる。

上述した技術的課題を解決するための本開示のいくつかの実施例によるバーチャルフィッティング装置は、ディスプレイを含む出力部と、ユーザの顔画像およびフィッティング対象となる目の周りの装身具画像を合成し、前記合成された画像がディスプレイを介して出力されるように前記出力部を制御する制御部と、を含むことができる。

上述の技術的課題を解決するための本開示のいくつかの実施例によるコンピュータプログラムは、コンピューティングデバイスと結合され、ユーザの顔画像を取得する段階、フィッティングの対象となる目の周りの装身具画像を取得する段階、前記取得された顔画像と前記取得された装身具画像とを合成する段階、および前記合成画像を提供する段階を実行するためにコンピュータ読み取り可能な記録媒体に保存することができる。

上述の本開示のいくつかの実施例によれば、目の周りの装身具に対するバーチャルフィッティング体験ができるサービスを提供することができる。これにより、装身具の購入時にユーザの利便性を大幅に向上させることができ、オンライン上でも装身具の取引が活性化し得る。

また、ＧＡＮ（Generative Adversarial Networks）に基づく画像合成モデルを介してユーザの顔画像と装身具画像に対する合成画像を生成することができる。このように生成された合成画像は本物の装身具着用画像と非常に類似しているため、バーチャルフィッティングサービスに対するユーザの満足度を向上させることができる。

また、ＧＡＮに基づく画像変換モデルを介して不要な装身具を除去する機能、スタイル変換機能など、多様なユーザの便利機能を提供することができる。これにより、バーチャルフィッティングサービスに対するユーザの満足度をさらに向上させることができる。

さらに、ユーザに適した装身具を様々な方法で推奨することができる。これにより、ユーザが所望の装身具を見つけたり購入したりするまでの所要時間を短縮することができ、装身具の販売をさらに促進することができる。

本開示の技術的思想による効果は、上述の効果に限定されず、言及されていないもう一つの効果は、以下の説明から当業者に明確に理解されるであろう。

本開示のいくつかの実施例によるバーチャルフィッティングサービス提供システムを概略的に示す例示的な構成図である。 本開示のいくつかの実施例によるバーチャルフィッティング装置を示す例示的なブロック図である。 本開示のいくつかの実施例によるバーチャルフィッティング装置を示す例示的なブロック図である。 本開示のいくつかの実施例によるバーチャルフィッティングサービスを提供する方法を示す例示的なフローチャートである。 本開示のいくつかの実施例にて参照することができる例示的なディスプレイ画面（ＧＵＩ）を示す図である。 本開示のいくつかの実施例による画像合成方法を示す例示的なフローチャートである。 本開示の他のいくつかの実施例による画像合成方法を説明するための例示的な図である。 本開示のいくつかの実施例による画像変換モデルの動作原理およびその活用例を説明するための例示的な図である。 本開示のいくつかの実施例による画像変換モデルの動作原理およびその活用例を説明するための例示的な図である。 本開示のいくつかの実施例による画像変換モデルの動作原理およびその活用例を説明するための例示的な図である。 本開示のいくつかの実施例による画像変換モデルの動作原理およびその活用例を説明するための例示的な図である。 本開示の第１の実施例による装身具を推奨する方法を示す例示的なフローチャートである。 本開示の第２の実施例による装身具を推奨する方法を示す例示的なフローチャートである。 本開示の第３の実施例による装身具を推奨する方法を示す例示的なフローチャートである。 本開示の第４の実施例による装身具を推奨する方法を示す例示的なフローチャートである。

以下、添付の図面を参照して本開示の好ましい実施例を詳細に説明する。本開示の利点および特徴、およびそれらを達成する方法は、添付の図面と共に詳細に後述する実施例を参照することによって明らかになるであろう。ただし、本開示の技術的思想は、以下の実施例に限定されるものではなく、互いに異なる様々な形態で具現されることができ、以下の実施例は、単に本開示の技術的思想を完全にするものであって、本開示が属する技術分野における通常の知識を有する者に本開示の範囲を完全に知らせるために提供されるものであり、本開示の技術的思想は特許課金の範囲によって定義されるだけである。

各図面の構成要素等に参照符号を付するにあたって、同一の構成要素については、たとえ他の図面上に表示されても可能な限り同一の符号を有するようにすることに留意すべきである。なお、本開示を説明するにあたって、関連する公知の構成又は機能の具体的な説明が本開示の要旨を不明瞭にする可能性があると判断される場合には、その詳細な説明は省略する。

特に断りがない限り、本明細書で使用されるすべての用語（技術的および科学的用語を含む）は、本開示が属する技術分野において通常の知識を有する者に共通して理解され得る意味で使用されることができる。また、一般的に使用される辞書に定義されている用語は、特に明確に定義されていない限り、理想的または過度に解釈されない。本明細書で使用される用語は、実施例を説明するためのものであり、本開示を限定することを意図するものではない。本明細書において、単数形は、文句で特に断りのない限り、複数形も含む。

また、本開示の構成要素を説明する際に、第１，第２，Ａ，Ｂ，（ａ），（ｂ）などの用語を用いることができる。これらの用語は、その構成要素を他の構成要素と区別するためのものに過ぎず、その用語によってその構成要素の本質や順番、順序などが限定されない。ある構成要素が他の構成要素に「連結」，「結合」または「接続」されると記載されている場合、その構成要素は他の構成要素に直接連結または接続可能であるが、各構成要素間で別の構成要素が「連結」，「結合」または「接続」され得ることを理解すべきである。

本明細書で使用される「備える（comprises）」および／または「～を含む（comprising）」は、言及された構成要素、段階、動作および／または素子は、１つまたは複数の他の構成要素，段階，動作および／または素子の存在または追加を除外しない。

以下、本開示の様々な実施例について添付の図面に従って詳細に説明する。

図１は、本開示のいくつかの実施例によるバーチャルフィッティングサービス提供システムを概略的に示す例示的な構成図である。

図１に示すように、バーチャルフィッティングサービス提供システムは、１つ以上のバーチャルフィッティング装置１００およびサービス提供サーバ２００を含むことができる。ただし、これは本開示の目的を達成するための好ましい実施例にすぎず、必要に応じて一部の構成要素を追加または削除することができることはもちろんである。以下、バーチャルフィッティングサービス提供システムの各構成要素について説明する。

バーチャルフィッティング装置１００は、ユーザにバーチャルフィッティングサービスを提供するコンピューティングデバイスを意味することができる。ここで、コンピューティングデバイスは、スマートフォン（smart phone）、ノートパソコン、デスクトップ（desktop）、ラップトップ（laptop）などのユーザ側端末であってもよいが、これらに限定されるものではなく、コンピューティング機能が備えられた全部の種類の装置を含むことができる。例えば、コンピューティングデバイスは、キオスク（kiosk）またはデジタルサイネージ（digital signage）などの装置を含むこともできる。このような場合、バーチャルフィッティング装置１００は、売り場または公共の場所に配置され、多様なユーザにバーチャルフィッティングサービスを提供することもできる。以下では、理解を助けるために便宜上、バーチャルフィッティング装置１００がユーザ側端末として具現されたと仮定し、説明を続ける。

バーチャルフィッティング装置１００は、ユーザに目の周りの装身具に対するバーチャルフィッティングサービスを提供することができる。ここで、目の周りの装身具は、コンタクトレンズ、メガネ、サングラス等であってもよいが、本開示の範囲がこれらに限定されるものではなく、目の周りの装身具は、目の周りに着用するまたは目の周りに関連する任意の装身具を全て含むことができる。以下では、説明の便宜上、「目の周りの装身具」を「装身具」と略す。

具体的には、バーチャルフィッティング装置１００は、ユーザの顔を含む画像（以下、「顔画像」という）を取得し、顔画像および装身具画像を合成し、合成された画像をディスプレイを介して出力することができる。このような場合、ユーザは直接装身具を着用しなくても着用後の姿を確認することができ、短時間内に様々な装身具に対するバーチャルフィッティング体験をすることができるため、装身具を購入する時、ユーザの利便性を大幅に向上させることができる。それだけでなく、このようなバーチャルフィッティングサービスは、ユーザの購入意欲を刺激することによって、オンラインまたはオフラインでの装身具の販売を促進する効果もまたもたらすことができる。バーチャルフィッティング装置１００がバーチャルフィッティングサービスを提供する具体的な方法については、後述する図２以下の図面を参照して詳細に説明する。

図に示すように、バーチャルフィッティング装置１００は、サービス提供サーバ２００と連動し、バーチャルフィッティングサービスを提供することができる。例えば、サービス提供サーバ２００がユーザに対して認証（例えばログイン）を実行し、バーチャルフィッティング装置１００は、認証されたユーザにのみバーチャルフィッティングサービスを提供することができる。もう一つの例として、顔画像および装身具画像の合成プロセスは、サービス提供サーバ２００で実行され、バーチャルフィッティング装置１００は、サービス提供サーバ２００から合成された画像を受信し、ユーザに提供することもできる。別の例として、サービス提供サーバ２００は、バーチャルフィッティングサービスに関連する様々な情報（例えば装身具情報、装身具の販売サイト情報など）を管理し、バーチャルフィッティング装置１００は、定期的または非定期的にサービス提供サーバ２００から前記情報を受信し、アップデートすることもできる。ただし、他のいくつかの実施例では、バーチャルフィッティング装置１００がサービス提供サーバ２００と連動することなく単独でバーチャルフィッティングサービスを提供することもできる。

次に、サービス提供サーバ２００は、バーチャルフィッティング装置１００と連動し、ユーザにバーチャルフィッティングサービスを提供するサーバ側のコンピューティングデバイスを意味することができる。サービス提供サーバ２００を具現するコンピューティングデバイスの種類に制限があるわけではないが、多数のユーザにバーチャルフィッティングサービスを提供する環境であれば、サービス提供サーバ２００は、高性能のサーバレベルのコンピューティングデバイスで具現されることが好ましくもある。

サービス提供サーバ２００は、バーチャルフィッティングサービスを円滑に行うことができるように様々な管理機能を提供することができ、その具体的な機能は実施例によって異なり得る。

例えば、サービス提供サーバ２００は、装身具情報に対する各種管理機能を提供することができる。より具体的には、サービス提供サーバ２００は、装身具情報を追加、削除および／または修正（アップデート）する機能を提供することができ、これらの機能のための管理者インターフェース（例えばウェブインターフェース，ＤＢインターフェースなど）を一緒に提供することができる。効率的な情報管理のために、サービス提供サーバ２００は、ＤＢ化された保存装置を備えることもできる。装身具情報は、例えば装身具の画像，装身具の仕様（例えばコンタクトレンズの度数，色，直径，含水率，材質，形状，ベースカーブなど）などの各種情報を含むことができる。また、サービス提供サーバ２００は、要請時、装身具情報をバーチャルフィッティング装置１００へ伝送したり、周期的または非周期的に装身具情報をバーチャルフィッティング装置１００へ伝送したりすることができる。そうすると、バーチャルフィッティング装置１００は、受信した装身具情報に基づいて予め保存された装身具情報をアップデートすることができる。

別の例として、サービス提供サーバ２００は、装身具の販売サイト情報に対する各種管理機能を提供することができる。より具体的には、サービス提供サーバ２００は、装身具販売サイトへのリンク情報を管理（例えば追加，削除，修正等）することができる。また、サービス提供サーバ２００は、要請時、前記リンク情報をバーチャルフィッティング装置１００へ伝送したり、周期的または非周期的に前記リンク情報をバーチャルフィッティング装置１００へ伝送したりすることができる。そうすると、バーチャルフィッティング装置１００は、受信したリンク情報に基づいて予め保存されたリンク情報をアップデートすることができる。または、サービス提供サーバ２００は、バーチャルフィッティング装置１００の要請を装身具販売サイトにリダイレクト（redirect）することもできる。

さらに別の例として、サービス提供サーバ２００は、ユーザ情報に対する各種管理機能を提供することができる。仮に、サービス提供サーバ２００は、ユーザのプロファイル情報（例えば人口統計学的情報，スタイル情報，視力情報など）を管理することができる。または、サービス提供サーバ２００は、会員情報（例えばユーザプロファイル，ログイン情報，課金情報など）を管理し、これに基づいて認証（例えばログイン），課金処理などの機能を提供することができる。または、サービス提供サーバ２００は、課金ユーザを対象に差別化されたバーチャルフィッティングサービスを提供することもできる。例えばサービス提供サーバ２００は、課金ユーザには装身具情報を制限なく提供し、非課金ユーザには一部の装身具情報の提供が制限されるようにすることができる。この時、装身具情報へのアクセス制御は、バーチャルフィッティング装置１００によって実行されてもよいことは言うまでもない。別の例として、サービス提供サーバ２００は、最新の装身具情報がアップデートされるたびに課金ユーザのみにアップデート情報を提供することができる。

さらに別の例として、サービス提供サーバ２００は、ユーザのバーチャルフィッティング履歴情報に対する各種管理および分析機能を提供することができる。例えば、サービス提供サーバ２００は、前記バーチャルフィッティング履歴情報を分析し、ビジネスインテリジェンス（business intelligence）情報（例えば１０代層が主にフィッティングした装身具、１０代層が主に購入した装身具など）を生成することができる。このようなビジネスインテリジェンス情報は、高付加価値の情報であるため、装身具の販売業者に販売することによって新たな収益モデルとしても活用することができる。または、サービス提供サーバ２００は、前記バーチャルフィッティング履歴情報を分析し、ユーザに装身具を推奨することもできる。場合によっては、装身具推奨機能は、バーチャルフィッティング装置１００によって実行されてもよい。装身具推奨機能に関しては、後述する図１２～図１５を参照して詳細に説明する。本例では、バーチャルフィッティング履歴情報は、例えば、ユーザがフィッティングを要請した装身具の情報、バーチャルフィッティング結果に対するフィードバック情報、フィッティングした装身具の販売サイトに訪問したかどうか、フィッティングした装身具を購入したかどうかなどの情報を含むことができる。しかし、これらに限定されるものではない。

さらに別の例として、サービス提供サーバ２００は、前述した例示の組み合わせに基づいて様々な管理機能を提供することができる。

これまで説明したバーチャルフィッティング装置１００またはサービス提供サーバ２００の機能は、コンピューティングデバイス（例えばスマートフォンのようなユーザ端末）で具現されてもよく、複数のコンピューティングデバイスで具現されてもよい。例えば、サービス提供サーバ２００の第１の機能は、第１のコンピューティングデバイスで具現され、第２の機能は、第２のコンピューティングデバイスで具現されてもよい。または、サービス提供サーバ２００の特定の機能を複数のコンピューティングデバイスで具現されてもよい。

また、バーチャルフィッティング装置１００またはサービス提供サーバ２００が提供するバーチャルフィッティングサービスのインターフェースは多様に設計および具現することができる。例えば、バーチャルフィッティングサービスは、バーチャルフィッティング装置１００にインストールされたアプリ（App）を通じて提供されてもよく、ウェブ（web）を介して提供されてもよい。しかし、これらに限定されるものではない。

一方、図示するように、バーチャルフィッティング装置１００とサービス提供サーバ２００は、ネットワークを介して通信することができる。ここで、ネットワークは、ローカルエリアネットワーク（Local Area Network；ＬＡＮ）、ワイドエリアネットワーク（Wide Area Network；ＷＩＮ）、モバイル通信ネットワーク（mobile radio communication network）、Wibro（Wireless Broadband Internet）などのあらゆる種類の有／無線ネットワークで具現されてもよい。

これまで、図１を参照にし、本開示のいくつかの実施例によるバーチャルフィッティングサービス提供システムについて説明した。上述によれば、装身具に対するバーチャルフィッティング体験ができるサービスを提供することができる。これにより、装身具の購入時にユーザの利便性を大幅に向上させることができ、オンライン上でも装身具の取引を活性化することができる。

以下では、図２を参照して、本開示のいくつかの実施例によるバーチャルフィッティング装置１００の構成および動作についてより詳細に説明する。

図２は、本開示のいくつかの実施例によるバーチャルフィッティング装置１００を示す例示的なブロック図である。

図２に示すように、バーチャルフィッティング装置１００は、入力部１１０，通信部１２０，保存部１３０，出力部１４０および制御部１５０を含むことができる。ただし、図２には、本開示の実施例に関連する構成要素のみが示されている。したがって、本開示が属する技術分野における通常の技術者であれば、図２に示す構成要素に加えて他の汎用的な構成要素をさらに含むことができることが分かる。また、図２に示すバーチャルフィッティング装置１００の各構成要素は、機能的に区別される機能要素を示したものであって、複数の構成要素が実際の物理環境では、互いに統合される形態で具現されてもよく、一つの構成要素が複数の詳細な構成要素に分離された形態で具現されてもよい。以下、バーチャルフィッティング装置１００の各構成要素について説明する。

入力部１１０は、ユーザから各種コマンドおよび／又はデータの入力を受けることができる。例えば入力部１１０は、バーチャルフィッティングサービスまたはバーチャルフィッティングモジュール１６０に関連する各種ユーザの入力を受信することができる。入力部１１０は、例えばキーボード，マウス，カメラ，センサなどの各種入力モジュールを含んで構成することができる。または、入力部１１０は、タッチディスプレイを含むように構成され、出力部１４０と統合された形態で具現することもできる。しかし、これらに限定されるものではない。入力部１１０は、カメラを介してユーザの顔を撮影することにより、顔画像をリアルタイムで入力を受けることができる。

次に、通信部１２０は、ネットワークを介して他のコンピューティングデバイスとの通信機能を提供することができる。例えば通信部１２０は、サービス提供サーバ２００に各種コマンドおよび／またはデータを伝送したり、サービス提供サーバ２００から各種コマンドおよび／またはデータを受信することができる。通信部１２０は、データ通信を支援するための有線インターネットモジュール、移動通信モジュールおよび／または無線通信モジュールを備えることができる。それ以外にも、通信部１２０は、様々な通信方式を支援するために本開示の技術分野にて周知の通信モジュールを含んで構成されてもよい。

次に、保存部１３０は、各種コマンドおよび／又はデータを保存することができる。例えば、保存部１３０は、バーチャルフィッティングサービスまたはバーチャルフィッティングモジュール１６０に関連する各種データを保存することができる。また、保存部１３０は、バーチャルフィッティングモジュール１６０を具現するための１つ以上の命令（instructions）からなるコンピュータプログラムまたはアプリケーションを保存することもできる。

保存部１３０は、ＲＡＭ（Random Access Memory）などのような揮発性メモリ，ＲＯＭ（Read Only Memory），ＥＰＲＯＭ（Erasable Programmable ROM），ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM），フラッシュメモリなどの不揮発性メモリ，ハードディスク，リムーバブルディスク、または本開示が属する技術分野にて周知の任意形態のコンピュータで読み取り可能な記録媒体を含んで構成することができる。

次に、制御部１５０は、バーチャルフィッティング装置１００の各構成の全般的な動作を制御することができる。制御部１５０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＭＣＵ（Micro Controller Unit）、または本開示の技術分野にて周知の任意形態のプロセッサを含んで構成することができる。また、制御部１５０は、上述したバーチャルフィッティングサービスに関連した少なくとも１つのアプリケーション（例えば１６０）またはコンピュータプログラム（例えば１６０）に対して演算を行うことにより、ユーザにバーチャルフィッティングサービスを提供することができる。

バーチャルフィッティングモジュール１６０は、上述したバーチャルフィッティングサービスを提供するモジュールを意味することができる。図３に示すように、いくつかの実施例によるバーチャルフィッティングモジュール１６０は、情報入力モジュール１６１，画像合成モジュール１６３，装身具推奨モジュール１６５およびユーザ入力処理モジュール１６７を含むことができる。ただし、図３に示す動作フローは、一例に過ぎず、実際具現する時、各モジュール１６１～１６７の動作フローは異なることもある。

情報入力モジュール１６１は、バーチャルフィッティングサービスに用いられる各種情報の入力を受けることができる。また、情報入力モジュール１６１は、入力された情報を画像合成モジュール１６３または装身具推奨モジュール１６５に提供することができる。

例えば情報入力モジュール１６１は、画像合成に用いられるユーザの顔画像と装身具画像の入力を受けることができる。より具体的な例として、情報入力モジュール１６１は、入力部１１０のカメラを介してユーザの顔画像の入力を受けることができる。例えば、ユーザからの要請（すなわち、バーチャルフィッティングサービス開始の要請、顔画像入力の要請など）に従ってカメラが活性化すると、ユーザは自分の顔を撮影することができ、情報入力モジュール１６１はカメラを介して撮影された顔画像を入力することができる。

別の例として、情報入力モジュール１６１は、保存部１３０からユーザの顔画像の入力を受けることができる。例えば情報入力モジュール１６１は、保存部１３０に保存された複数の顔画像の中からユーザによって選択された顔画像の入力を受けることができる。

さらに別の例として、情報入力モジュール１６１は、入力部１１０、保存部１３０、またはサービス提供サーバ２００などを介して装身具画像を含む装身具情報の入力を受けることができる。

さらに別の例として、情報入力モジュール１６１は、入力部１１０、保存部１３０、またはサービス提供サーバ２２０などを介してユーザのプロファイル情報の入力を受けることもできる。

一方、いくつかの実施例において、情報入力モジュール１６１は、入力された顔画像に対する検証を実行することもできる。例えば情報入力モジュール１６１は、所定の検出アルゴリズムを介して顔画像内の顔、目の周りおよび／または瞳孔領域が検出されるかどうかを判別し、判別結果に基づいて顔画像が画像合成に適しているかどうかを判断することができる。例えば情報入力モジュール１６１は、顔，目の周りおよび瞳孔領域が全部検出されたという判別結果に応答して、入力された顔画像が適合であると判断することができる。不適合と判断された場合、情報入力モジュール１６１は、判断結果をユーザに通知する、またはユーザに顔画像を再度要請することができる。他の例として、情報入力モジュール１６１は、入力された顔画像の解像度、色、明度、彩度などに基づいて画像の適合性を判断することもできる。

さらに、いくつかの実施例において、情報入力モジュール１６１は、入力された顔画像を合成に適した画像に変換することができる。具体的には、情報入力モジュール１６１は、ＧＡＮ（Generative Adversarial Networks）に基づく画像変換モデルを用いて顔画像をより適切な画像に変換することができる。例えば情報入力モジュール１６１は、入力された顔画像をより高品質（例えば高解像度）の顔画像に変換することができる。別の例として情報入力モジュール１６１は、入力された顔画像から不要な装身具を除去することができる。具体的な例として、フィッティング対象の装身具がコンタクトレンズであり、入力された顔画像が眼鏡を着用した画像である場合、情報入力モジュール１６１は、顔画像から眼鏡画像を除去することができる。別の例として情報入力モジュール１６１は、入力された顔画像のスタイルを変換する（例えばヘアスタイルの変更、ヘアカラーの変更、装身具の除去）、または入力された顔画像の表情、姿勢または方向を変換する（例えば側面画像を正面画像に変換する）ことができる。例示された画像の変換原理については、後述する図８～図１１などを参照して詳細に説明する。

次に、画像合成モジュール１６３は、顔画像と装身具画像を合成し、合成画像（すなわちバーチャルフィッティング画像）を生成することができる。合成画像は、出力部１４０のディスプレイを介してユーザに提供されてもよく、保存部１３０に保存されてもよい。重複した説明を排除するために、画像合成モジュール１６３の詳細な動作については、後述する図６および図７などの図面を参照にし、詳細に説明することとする。

次に、装身具推奨モジュール１６５は、ユーザに装身具を推奨することができる。例えば、装身具推奨モジュール１６５は、ユーザのプロファイル情報などに基づいてユーザに装身具を推奨することができる。重複した説明を排除するために、画像合成モジュール１６３の詳細な動作については、後述する図１２以下の図面を参照にし、詳細に説明することとする。

次に、ユーザ入力処理モジュール１６７は、ユーザ入力に応じた各種処理を実行することができる。

例えばユーザ入力処理モジュール１６７は、ユーザ入力に応答し、画像合成モジュール１６３によって合成された画像から一部または装身具全体に対する合成処理を除去または復元することができる。

別の例として、ユーザ入力処理モジュール１６７は、ユーザ入力に応答し、前記合成画像を拡大／縮小したり、前記合成画像上の装身具領域の透明度を変更するなどの処理を実行することができる。

さらに別の例として、ユーザ入力処理モジュール１６７は、ユーザ入力に応答し、前記合成画像上の装身具領域の少なくとも１つのデザイン要素を変更することができる。このとき、デザイン要素は、例えばサイズ，形状，色などの要素を含むことができるが、これらに限定されるものではない。

ユーザ入力処理モジュール１６７の他の動作については、後述する図６などの図面を参照にし、補足説明をすることとする。

一方、図３には示されていないが、いくつかの実施例では、バーチャルフィッティングモジュール１６０は、プロファイル情報生成部（図示せず）をさらに含むこともできる。プロファイル情報生成部は、自動にユーザのプロファイル情報を生成することができる。例えばプロファイル情報生成部（図示せず）は、色んなサイズの文字（またはシンボル）を含む視力検査画像を介してユーザの視力情報を生成することができる。別の例としてプロファイル情報生成部（図示せず）は、ユーザの顔画像を分析し、スタイル情報（例えばヘアスタイル，ヘアカラー，目の色，目の大きさ，目の形など）を自動に生成することもできる。本実施例によれば、ユーザが自身のプロファイル情報を手動で入力する必要がなくなるので、ユーザの利便性をさらに向上させることができる。

一方、図２または図３に示す各構成要素は、ソフトウェア（Software）または、ＦＰＧＡ（Field Programmable Gate Arraｙ）やＡＳＩＣ（Application-Specific Integrated Circuit）などのハードウェア（Hardware）を意味することができる。しかしながら、前記構成要素はソフトウェアまたはハードウェアに限定されるという意味ではなく、アドレス指定（Addressing）可能な保存媒体に配置されるように構成されてもよく、１つまたはそれ以上のプロセッサを実行させるように構成されてもよい。前記構成要素内で提供される機能は、より細分化された構成要素によって具現されてもよく、複数の構成要素を組み合わせて特定の機能を実行する１つの構成要素として具現されてもよい。

これまで、図２および図３を参照して、本開示のいくつかの実施例によるバーチャルフィッティング装置１００の構成および動作について説明した。以下では、図４以下の図面を参照にし、本開示のいくつかの実施例によるバーチャルフィッティングサービス提供方法について説明することとする。

以下で後述するバーチャルフィッティングサービス提供方法の各段階は、コンピューティングデバイスによって実行することができる。言い換えれば、前記方法の各段階は、コンピューティングデバイスのプロセッサ（または制御部）によって実行される１つ以上の命令で具現されることができる。前記方法に含まれる全ての段階は、１つの物理的コンピューティングデバイスによって実行されてもよいが、前記方法の第１の段階は、第１のコンピューティングデバイス（例えばバーチャルフィッティング装置１００）によって実行され、前記方法の第２の段階は、第２のコンピューティングデバイス（例えばサービス提供サーバ２００）によって実行されてもよい。以下では、前記方法の各段階が、図１に例示するバーチャルフィッティング装置１００（例えば制御部１５０，バーチャルフィッティングモジュール１６０）によって実行されることを仮定し、説明を続ける。したがって、各段階の動作主体が省略された場合、前記例示された装置１００によって実行され得ることが理解される。

図４は、本開示のいくつかの実施例によるバーチャルフィッティングサービス提供方法を概略的に示す例示的なフローチャートである。ただし、これは本開示の目的を達成するための好ましい実施例にすぎず、必要に応じて一部の段階を追加または削除することができることは言うまでもない。さらに、図５は、本開示のいくつかの実施例にて参照することができる例示的なディスプレイ画面（ＧＵＩ）を示す。特に、図５は、装身具がコンタクトレンズである場合を例として示している。

図４に示すように、バーチャルフィッティングサービス提供方法は、ユーザの顔画像と装身具画像を取得する段階Ｓ１００で開始することができる。本段階では、ユーザの顔画像と装身具画像を様々な方法で取得することができる。

例えば、バーチャルフィッティング装置１００は、カメラを介してユーザの顔を撮影することによって顔画像を取得したり、保存部１３０から予め保存されていた顔画像を取得したりすることができる。しかし、これらに限定されるものではない。

また、バーチャルフィッティング装置１００は、ディスプレイを介して複数の装身具画像を含むリストを出力し、ユーザの選択によって特定の装身具画像を取得することができる。例えば、図５に示すように、ディスプレイ画面の特定領域３２０に複数の装身具画像３２１，３２２を含むリストが出力され、ユーザの選択入力が受信されると、バーチャルフィッティング装置１００は、選択された装身具画像（例えば３２１）を合成対象として決定することができる。しかし、これらに限定されるものではなく、バーチャルフィッティング装置１００は、ディスプレイを介して画像ではなく装身具に関する情報（例えば製品名，製品のブランド，製品の仕様等の情報）を出力し、ユーザから装身具に対する選択入力を受けることもできる。そうすると、バーチャルフィッティング装置１００は、選択された装身具に対する画像を保存部１３０またはサービス提供サーバ２００から取得することができる。

いくつかの実施例では、バーチャルフィッティング装置１００は、画像合成前に取得された顔画像に対する検証を実行する、または取得された顔画像をより適合する画像に変換することができる。これに関しては、図３の説明部分を参照すること。

段階Ｓ２００では、顔画像と装身具画像を合成し、合成画像を生成することができる。本段階では、２つの画像を合成する具体的な方法は実施例によって変わり得る。以下、図６および図７を参照にし、本開示の実施例による画像合成方法について説明する。

まず、図６を参照して、本開示のいくつかの実施例による画像合成方法について説明する。

図６は、本開示のいくつかの実施例による画像合成方法を示す例示的なフローチャートである。

図６に示すように、段階Ｓ１１０において、顔画像と装身具画像を合成するために、顔画像から目の領域を識別することができる。具体的な識別方法は、如何なる方法であってもよい。例えば、バーチャルフィッティング装置１００は、本開示の技術分野にて周知の画像処理技法または画像分析技法を用いて顔画像から目の領域を識別することができる。

段階Ｓ１２０において、識別された目の領域から瞳孔領域を検出することができる。具体的な検出方式も如何なる方式であってもよい。

段階Ｓ１３０において、検出された瞳孔領域に基づいて顔画像上に装身具画像をオーバーレイ（overlay）し、合成画像を生成することができる。例えば装身具がコンタクトレンズである場合、バーチャルフィッティング装置１００は、検出された瞳孔領域を基準としてコンタクトレンズ画像を整合し、瞳孔領域上にコンタクトレンズ画像をオーバーレイすることができる。このとき、バーチャルフィッティング装置１００は、瞳孔領域の大きさに合わせてコンタクトレンズ画像の大きさを調整した後に、画像オーバーレイを実行することもできる。

いくつかの実施例では、装身具の情報（例えば色，類型，度数などの仕様情報）に基づいて前記合成画像を補正する段階をさらに実行することができる。例えばバーチャルフィッティング装置１００は、コンタクトレンズの色情報と透明度情報に基づいて合成画像上のコンタクトレンズ領域の色を補正することができる（例えばカラーコンタクトレンズの場合）。例えばバーチャルフィッティング装置１００は、所定の重み値（α；透明度によって決定される）に基づいて、瞳孔領域の色（ａ）とコンタクトレンズの色（ｂ）を総合（例えば、c=b*α/100+a*(1-α/100))し、コンタクトレンズ領域の色を総合した色（ｃ）に変更することができる。別の例として、バーチャルフィッティング装置１００は、コンタクトレンズの類型に基づいて合成画像上のコンタクトレンズ領域のサイズを補正することができる。例えば、コンタクトレンズがサークルレンズである場合、バーチャルフィッティング装置１００は、コンタクトレンズ領域のサイズを増加させることができる。もちろん、この時、瞳孔領域または目の領域の大きさも一緒に増加させることができる。さらに別の例として、バーチャルフィッティング装置１００は、コンタクトレンズの度数または形状（例えば凹，凸）に基づいて合成画像上の目の領域または瞳孔領域のサイズを大きくしたり、または小さく補正することもできる。本実施例によれば、ユーザの実際の装身具着用姿により近い合成画像を生成することができる。

図７は、本開示の他のいくつかの実施例による画像合成方法を説明するための例示図である。特に、図７は、装身具がコンタクトレンズである場合を例として示している。

図７に示すように、本実施例では、ＧＡＮ（Generative Adversarial Networks）に基づく画像合成モデルを介して顔画像と装身具画像を合成することができる。当技術分野の従事者であれば、ＧＡＮの構成および敵対的学習技法について自明に理解できるはずであるので、本開示の論旨が曖昧にならないようにＧＡＮそのものについての説明は、省略する。

具体的には、実施例による画像合成モデルは、生成器（３３０；Generator）と弁別器（３４０；Discriminatoｒ）とを含むことができ、生成器３３０と弁別器３４０は、敵対的学習により相互補完的に学習することができる。

図示するように、生成器３３０は、ユーザの顔画像３３１と装身具画像３３２の入力を受け、両画像３３１，３３２が合成されたフェイク画像３３４を生成するように学習することができる。例えば生成器３３０は、フェイク画像３３４に対する弁別器３４０の予測誤差（すなわち、予測値と正解値の差）を逆伝播して重み値をアップデートすることにより、徐々に本物に近いフェイク画像（例えば３３４）を生成することができるようになる。

また、弁別器３４０は、本物の画像３３３（例えばユーザが実際に装身具を着用して撮影した画像）とフェイク画像３３４とを区別するように学習することができる。例えば弁別器３４０は、入力された画像（例えば３３３，３３４）に対する予測誤差を逆伝播して重み値をアップデートすることにより、本物の画像（例えば３３３）とフェイク画像（３３４）とを益々正確に区別できるようになる。

一方、いくつかの実施例では、前記画像合成モデルは、装身具の類型（クラス）を分類する分類器（図示せず；classifier）をさらに含むことができる。この時、装身具の類型はどのような方式で定義されてもよい。分類器（図示せず）は、フェイク画像３３４から抽出された装身具領域の画像の入力を受け、装身具の類型を示す予測値（例えばクラス別信頼スコア）を出力することができる。そうすると、生成器３３０は、分類器（図示せず）の予測誤差を逆伝播して学習することができる。このような場合、生成器３３０が、より本物に近いフェイク画像３３４を生成することができる。参考までに、生成器３３０は、装身具画像３３２だけでなく、装身具の類型情報（すなわちクラス情報）の入力をさらに受け、フェイク画像３３４を生成するように具現することもできる。

さらに、いくつかの実施例では、生成器３３０は、本物の画像３３３の装身具領域とフェイク画像３３４の装身具領域との間の誤差（例えばピクセル値の差に基づく誤差）をさらに学習することができる。例えば、本物の画像３３３およびフェイク画像３３４のそれぞれから装身具領域が抽出され、抽出された装身具領域間の誤差が算出されると、算出された誤差がさらに逆反転することによって生成器３３０の重み値をアップデートすることができる。このような場合、生成器３３０がより本物に近いフェイク画像(例えば３３４)を生成することができる。

前の実施例において、生成器３３０は、逆畳み込みニューラルネットワーク（de-convolutional neural networks）に基づいて具現され、弁別器３４０は、畳み込みニューラルネットワーク（convolutional neural networks）に基づいて具現され得るが、本開示の範囲はこれに限定されるものではない。

一方、本開示の他のいくつかの実施例において、上述の実施例の組み合わせに基づいて合成画像を決定することができる。例えばバーチャルフィッティング装置１００は、図６に例示したように第１の合成画像を生成し、図７に例示したように第２の合成画像を生成することができる。そして、バーチャルフィッティング装置１００は、弁別器３４０を介して第１の合成画像と第２の合成画像のそれぞれに対する予測値（例えば本物に該当する信頼スコア）を出力し、出力された予測値に基づいて２つの合成画像のうち、いずれかの画像（すなわち、より本物に近い画像）を最終合成画像として決定することができる。

または、バーチャルフィッティング装置１００は、前記第１の合成画像と第２の合成画像を総合し、最終合成画像を生成することもできる。例えばバーチャルフィッティング装置１００は、前記第１の合成画像のピクセル値と前記第２の合成画像のピクセル値とを重み値に基づいて総合して（例えば重み値の和）、最終合成画像を生成することができる。このとき、前記第２の合成画像に付与される重み値は、画像合成モデルの性能指標（例えば合成の正確度，学習したデータ量，学習回数など）が向上されるほど増加し、前記第１の合成画像に付与される重み値は減少することができる。

参考までに、ＧＡＮに基づく画像合成モデルを利用する場合、画像合成モデルに対する学習は、サービス提供サーバ２００で実行され、バーチャルフィッティング装置１００は、学習された画像合成モデルをサービス提供サーバ２００から提供を受け、画像合成を実行することもできる。または、バーチャルフィッティング装置１００は、サービス提供サーバ２００に画像合成を要請し、サービス提供サーバ２００から合成された画像を受信することもできる。このような技術的具現方式は、以下に説明する他のＧＡＮに基づくモデルにも同様に適用することができる。

改めて、図４を参照して説明する。

段階Ｓ３００において、合成画像をユーザに提供することができる。例えば、図５に示すように、バーチャルフィッティング装置１００は、ディスプレイ画面の特定領域３１０に顔画像と装身具画像３２１とが合成された画像を出力することができる。

参考までに、段階Ｓ１００は情報入力モジュール１６１によって実行され、段階Ｓ２００およびＳ３００は、画像合成モジュール１６３によって実行されることができる。

一方、図４に示されていないが、いくつかの実施例では、合成画像へのユーザ入力を処理する段階をさらに実行することもできる。ここで、ユーザ入力とは、例えば、装身具領域（又は装身具画像）に対する透明度調節機能に関連するユーザ入力、装身具画像に対する合成オン／オフ機能に関連するユーザ入力、装身具領域（（又は装身具画像）又はその他の領域のデザイン要素（例えば色，サイズなど）の変更機能に関連するユーザ入力などを含むことができるが、これらに限定されるものではない。本実施例に関連する動作は、ユーザ入力処理モジュール１６７によって実行され得るが、以下、本実施例について図５を参照して補足説明する。

図５に示すように、バーチャルフィッティング装置１００は、ディスプレイ画面を介した合成オン／オフに関する第１のインターフェース３１２、透明度調節に関する第２のインターフェース３１３、拡大／縮小に関する第３のインターフェース（図示せず）などを表示することができる。そうすると、ユーザは表示されたインターフェース３１２，３１３を介して様々な操作を行うことができる。

例えば、ユーザは、第１のインターフェース３１２を介して合成処理を除去または復元することができる。具体的な例として、ユーザは、第１のインターフェース３１２を介して左側および／または右側のコンタクトレンズ３２１－１，３２１－２の合成処理を除去（または復元）するコマンドを入力することができ、バーチャルフィッティング装置１００は、ユーザ入力に応答してコンタクトレンズ３２１－１，３２１－２の合成処理を除去（または復元）することができる。このような場合、ユーザがコンタクトレンズ着用前／後の姿を一目で確認できるので、バーチャルフィッティングサービスに対するユーザの満足度を向上させることができる。

別の例として、ユーザは第２のインターフェース３１３を介して装身具領域の透明度を調節するためのコマンドを入力することができ、バーチャルフィッティング装置１００は、ユーザ入力に応答して装身具領域の透明度を調節することができる。特に、図５は、透明度調節インターフェース３１２がスライドバーの形態で具現されていることを例示として示す。

別の例として、ユーザは、第３のインターフェース（図示せず）を介して合成画像の一部または全体の領域を拡大または縮小するコマンドを入力することができ、バーチャルフィッティング装置１００は、ユーザ入力に応答し、拡大／縮小処理を実行することができる。このような場合、ユーザは装身具の装着姿をより細かく確認することができるので、バーチャルフィッティングサービスに対するユーザの満足度を向上させることができる。

加えて、ユーザは、様々なインターフェースを介して装身具領域（例えば、３２１－１，３２１－２）のデザイン要素を変更したり、ユーザのスタイルを変更するなどの操作を行うことができる。ただし、インターフェース（例えば３１２）の種類および具現形態は、前記の例によって限定されるものではなく、多様に設計することができる。

これまで、図４～図７を参照して、本開示のいくつかの実施例によるバーチャルフィッティングサービス提供方法について全般的に説明した。上述の方法によれば、目の周りの装身具に対するバーチャルフィッティング体験ができるサービスを提供することができる。これにより、装身具の購入時にユーザの利便性を大幅に改善させることができ、オンライン上でも装身具の取引が活性化し得る。

一方、本開示のいくつかの実施例では、ＧＡＮに基づく画像変換モデルを用いて多様なユーザの便宜機能を提供することができるが、以下、本実施例に関して図８～図１１を参照して補足説明する。

図８は、本開示のいくつかの実施例による画像変換モデル３５０の動作を示す。

図８に示すように、画像変換モデル３５０は、ＧＡＮに基づいて具現することができる。そして、画像変換モデル３５０は、第１ドメインの画像（例えば３５１）を第２ドメインの画像（例えば３５４）に変換するか、或いは第２ドメインの画像（例えば３５２）を第１ドメインの画像（例えば３５３）に変換するか、両ドメインの画像を相互変換することができる。

ここで、ドメインは、同じ属性を共有する画像の集合を概念的に指すものであり、様々な方法で定義または設計することができる。例えば図８に示す例の場合、ドメインは装身具（例えばマスク）を着用するかどうかを基準として区分され、第１ドメインは特定の装身具（例えばマスク）の着用画像（例えば３５１，３５４）に関連付けられ、第２ドメインは、前記特定の装身具（例えばマスク）の未装着画像３５２，３５３に関連付けることができる。別の例として、ドメインは、品質を基準として区別されるように設計することができるが、その場合、画像変換モデル（例えば３５０）は、低品質の画像を高品質の画像に変換することが可能になる。さらに別の例として、ドメインは、スタイル（例えばヘアスタイル，ヘアカラーなど）を基準として区別されるように設計することができるが、画像変換モデル（例えば３５０）は画像のスタイルを変換することができる。さらに別の例として、ドメインは表情、姿勢、方向などを基準として区別されるように設計することができるが、このような場合、画像変換モデル（例えば３５０）は、画像の表情，姿勢または方向を変換することができる。

具体的には、画像変換モデル３５０は、ドメイン変換（または画像変換）機能が備えられた様々な種類のＧＡＮに基づいて具現されることができる。例えば、画像変換モデル３５０は、Ｄｉｓｃｏ－ＧＡＮ、ｃｙｃｌｅ－ＧＡＮ、ＵＮＩＴ（Unsupervised Image-to-Image Translation）、ＭＵＮＩＴ（Multimodal Unsupervised Image-to-Image Translation）、ｓｔａｒＧＡＮ、ｆｕｓｉｏｎＧａｎなどのような様々なＧＡＮに基づいて具現することができる。理解の便宜を図るために、いくつかの例については、後述する図９および図１０を参照にし、簡略に説明することとする。

図８に示すように、画像変換モデル３５０は、第１ドメイン画像３５１または第２ドメイン画像３５２を他のドメインのフェイク画像３５３，３５４に変換することができる。図８は、マスク着用画像をマスク未着用画像に変換することを例示しているが、装身具の類型はいくらでも変更することができることは勿論である。

画像変換モデル３５０のいくつかの例が、図９および図１０に示されている。図９は、画像変換モデル３５０がｃｙｃｌｅ－ＧＡＮに基づいて具現されたことを例示として示しており、図１０には、ＵＮＩＴに基づいて具現されたものであることが例示されている。以下、説明の便宜上、画像変換モデル３５０を「変換モデル」と略記する。

以下、図９を参照にし、変換モデル３５０の構造と学習方法の一実施例について説明する。

図９に示すように、変換モデル３５０は、第１生成器３６１、第２生成器３６２、第１弁別器３６３、および第２弁別器３６４を含むことができる。

第１生成器３６１は、第１ドメインの画像３６５－１を第２ドメインのフェイク画像３６５－２に変換するモジュールである。また、第２弁別器３６４は、第２ドメインの本物の画像３６６－１とフェイク画像３６５－２とを判別するモジュールである。第１生成器３６１と第２弁別器３６４は、敵対的学習によって相互補完的に学習することができる（すなわち、重み値がアップデートされる）。

さらに、第１生成器３６１は、第１の一貫性損失（consistency loss;Ｌ_{ＣＯＮＳＴ} Ａ）を用いてさらに学習することができる。第１の一貫性損失（Ｌ_{ＣＯＮＳＴ}Ａ）は、第１生成器３６１に入力された本物の画像３６５－１と第２生成器３６２を介して変換されたフェイク画像３６５－３との差に基づいて算出することができる。この時、フェイク画像３６５－３は、第１生成器３６１を介して変換されたフェイク画像３６５－２を再び第２生成器３６２を介して元のドメインに変換した画像を意味することができる。第１の一貫性損失（Ｌ_{ＣＯＮＳＴ}Ａ）を学習することにより、第１生成器３６１は、学習データセットが画像対（pair）で構成されていなくても正確に画像変換を実行できるようになる。第１の一貫性損失（Ｌ_{ＣＯＮＳＴ}Ａ）は、例えば、ユークリッド距離（Euclidian distance）、コサイン類似度（cosine similarity）などに基づいて算出することができるが、本開示の技術的範囲が前記に列挙された例示に限定されるものではない。

次に、第２生成器３６２は、第２ドメインの画像３６６－１を第１ドメインのフェイク画像３６６－２に変換するモジュールである。また、第１弁別器３６３は、第１ドメインの本物の画像３６５－１とフェイク画像３６６－２とを判別するモジュールである。第２生成器３６２と第１弁別器３６３もまた、敵対的学習によって相互補完的に学習することができる。

さらに、第２生成器３６２は、第２の一貫性損失（Ｌ_{ＣＯＮＳＴ}Ｂ）を用いてさらに学習することができる。第２生成器３６２の学習過程は、第１生成器３６１と同様であり、これ以上の説明は省略する。

以下、図１０を参照して変換モデル３５０の構成と学習方法の他の例について説明する。

図１０に示すように、変換モデル３５０は、第１ドメインに関連した第１エンコーダ３７１、第１生成器３７３、および第１弁別器３７５と、第２ドメインに関連する第２エンコーダ３７２、第２生成器３７４、および第２弁別器３７６を含むことができる。

第１エンコーダ３７１は、第１ドメインの画像３７７－１を符号化データ３７８に符号化するモジュールであり、第２エンコーダ３７２は、第２ドメイン画像３７８－１を符号化データ３７８に符号化するモジュールである。符号化データ３７８は、第１ドメインと第２ドメイン画像間（すなわち、異なるドメイン間）に共有する潜在空間（latent shared space）上のデータとして理解することができる。

第１生成器３７３は、符号化データ３７８に基づいて第１ドメインのフェイク画像３７７－２を生成するモジュールである。同様に、第２生成器３７４は、符号化データ３７８に基づいて第２ドメインのフェイク画像３７７－２を生成するモジュールである。

第１弁別器３７５は、第１ドメイン画像に対する判別動作を行うモジュールであり、第２弁別器３７６は、第２ドメイン画像に対する判別動作を行うモジュールである。第１弁別器３７５と第１生成器３７３との間には敵対的学習が行われ、第２弁別器３７６と第２生成器３７４との間でも敵対的学習が行われることができる。

また、画像変換のために図１０に示すフローに従って学習を行うことができる。例えば、第２ドメインの画像３７８－１の符号化データ３７８が第１生成器３７３に入力されると、第２ドメインの画像３７８－１が第１ドメインのフェイク画像（３７８－２）に変換されるように学習を行うことができる。同様に、第１ドメインの画像３７７－１の符号化データ３７８が第２生成器３７４に入力されると、第１ドメインの画像３７７－１が第２ドメインのフェイク画像３７７－２に変換されるように学習を行うことができる。具体的な学習方法に関しては、「ＵＮＩＴ；Unsupervised Image-to-Image Translation」と命名された文献を参照する。本物の画像変換もまた図１０に示すフローに従って実行することができる。

当技術分野の当業者であれば、ＧＡＮを用いたドメイン変換（またはスタイル変換）機能について自明に理解できるところ、これ以上の詳細な説明は省略する。

図８～図１０を参照して説明した変換モデル３５０は、多様なユーザの便宜機能を呈するために活用することができるが、以下では変換モデル３５０の活用例について説明する。

いくつかの実施例では、変換モデル３５０は、画像合成（すなわち、バーチャルフィッティング）の前にユーザの顔画像から不要な装身具を除去するために活用することができる。例えば、コンタクトレンズに対するバーチャルフィッティングサービスを利用するユーザが眼鏡を装着している顔画像を入力した場合、入力された顔画像から眼鏡を除去するために変換モデル３５０を活用することができる。すなわち、変換モデル３５０は、入力された眼鏡着用画像を眼鏡未着用画像に変換することにより、ユーザが顔画像を再入力する手間を防止することができる。若しくは、変換モデル３５０は、図８～図１０に例示するように、マスク着用画像をマスク未着用画像に変換するために活用することもできる。

いくつかの実施例では、変換モデル３５０は、ユーザが入力した顔画像をより合成に適した画像に変換するために活用することができる。例えば、入力された顔画像が低品質の場合、変換モデル３５０は、入力された顔画像を高品質の画像に変換することができる。別の例として、入力された顔画像が正面画像ではない場合、変換モデル３５０は、入力された画像を正面方向の画像に変換することができる。

いくつかの実施例では、変換モデル３５０は、ユーザが入力した顔画像のスタイルを変換するために活用することができる。例えば、図１１に示すように、変換モデル３５０は、入力された顔画像３８１を他のスタイル（例えば他のヘアカラー）の画像３８２～３８４に変換することができる。このとき、バーチャルフィッティング装置１００は、変換された複数の顔画像３８２～３８４のそれぞれと装身具画像とを合成し、複数の合成画像をユーザに提供することもできる。このような場合、ユーザは装身具が着用された姿に似合うスタイルを容易に見つけることができるので、ユーザの満足度を大幅に向上させることができる。または、変換モデル３５０は、ユーザの要請に応じて顔画像を特定のスタイルの画像に変換することもできる。このような場合、ユーザは自分の好きなスタイルに合った装身具を容易に見つけることができる。

いくつかの実施例では、変換モデル３５０は、ユーザが入力した顔画像を他の表情、方向、姿勢の画像に変換するために活用することができる。この場合、バーチャルフィッティング装置１００は、様々な表情，方向，姿勢の合成画像をユーザに提供することができるので、バーチャルフィッティングサービスの遊び機能を強化することができる。

いくつかの実施例では、変換モデル３５０は、ユーザが入力した顔画像をトレンディな装身具を着用した画像に変換するために活用することができる。例えば、変換モデル３５０は、最新のファッショントレンドをリードする有名人（例えば芸能人，ファッションインフルエンサーなど）の装身具未着用画像と装身具着用画像を学習した場合、変換モデル３５０は入力された顔画像をトレンディな装身具が着用されたイメージに変換できるようになる。このような変換モデル３５０は、ユーザに装身具を推奨するために利用することができるが、これに関しては、後述する図１４を参照にし、補足説明する。

これまで、図８～図１１を参照して、本開示のいくつかの実施例によるＧＡＮに基づく変換モデルの動作原理と様々な活用例について説明した。上述の通り、多様なユーザの便宜機能を呈することができるところ、バーチャルフィッティングサービスを利用するユーザのサービス満足度をさらに向上させることができる。

以下では、図１２～図１５を参照して、本開示のいくつかの実施例による装身具推奨方法について説明する。

図１２は、本開示の第１の実施例による装身具推奨方法を示す例示的なフローチャートである。

図１２に示すように、本実施例では、ユーザのプロファイル情報に基づいて装身具を推奨することができる（Ｓ４１０，Ｓ４２０）。ここで、ユーザのプロファイル情報は、例えば、人口統計学的情報（例えば年齢，性別，年齢層など）、スタイル情報（例えばヘアスタイル，ヘアカラー，目の大きさ，目の色，目の形，肌の色，顔形など）、視力情報などの情報を含むことができる。しかし、これらに限定されるものではない。本実施例では、その具体的な推奨方式は様々であることができる。

例えばバーチャルフィッティング装置１００は、ユーザの性別および／または年齢層における人気の装身具をユーザに推奨することができる。年齢層および／または性別による人気の装身具は、多数のユーザのバーチャルフィッティング履歴情報を分析することによって取得することができ、他の方法で取得することができる。

別の例として、バーチャルフィッティング装置１００は、ユーザの目の大きさ，目の色，目の形および視力などのスタイル情報に基づいて装身具を推奨することができる。例えばバーチャルフィッティング装置１００は、目の色を考慮し、コンタクトレンズの色（または透明度）を決定し、目の大きさを考慮し、コンタクトレンズのサイズを決定し、目の形を考慮し、コンタクトレンズの形状を決定することができる。また、バーチャルフィッティング装置１００は、視力情報を考慮し、コンタクトレンズの度数を決定することができる。また、バーチャルフィッティング装置１００は、決定された色，サイズ，形状および／または度数を有するコンタクトレンズの製品をユーザに推奨することができる。

さらに別の例として、バーチャルフィッティング装置１００は、上述の例示の組み合わせに基づいて装身具を推奨することもできる。例えばバーチャルフィッティング装置１００は、ユーザの人口統計学的情報に基づいて複数の装身具を推奨候補として決定し、ユーザのスタイル情報に基づいて決定された推奨候補の中から推奨対象を決定することもできる。

参考までに、例示された推奨方法を具現するために機械学習に基づく推奨モデルを活用することもできるが、本開示の範囲はこれに限定されるものではない。

図１３は、本開示の第２の実施例による装身具推奨方法を示す例示的なフローチャートである。

図１３に示すように、本実施例では、ユーザとプロファイル情報が類似する他のユーザのバーチャルフィッティング履歴情報に基づいて装身具を推奨することができる（Ｓ５１０～Ｓ５３０）。このとき、プロファイル情報間の類似度は、人口統計学的情報の類似度，スタイル情報の類似度，視力情報の類似度などに基づいて算出することができるが、これらに限定されるものではなく、如何なる方式で算出されても差し支えない。

例えばバーチャルフィッティング装置１００は、ユーザと年齢層，スタイル，視力情報が類似する他のユーザが基準回数以上のバーチャルフィッティングを行った装身具、前記他のユーザのフィードバックスコアが基準スコア以上の装身具などをユーザに推奨することができる。ここで、フィードバックスコアは、前記他のユーザがバーチャルフィッティングの結果（すなわち、合成画像）を凝視した時間、前記他のユーザがフィッティングした装身具の販売サイトに訪問したか否か、前記他のユーザがフィッティングした装身具を購入したか否かなどに基づいて算出することができる。例えば、凝視時間に基づいて算出された第１フィードバックスコア（例えば凝視時間が長いほど高い）、販売サイト訪問をしたか否かで算出された第２フィードバックスコア、および購入したか否かで算出された第３フィードバックスコアの重み値の和でフィードバックスコアが算出されることができ、この場合、第３フィードバックスコアに付与される重み値が最も高く、第１フィードバックスコアに付与される重み値が最も低くてもよい。

一方、いくつかの実施例では、ユーザのバーチャルフィッティング履歴情報に基づいて装身具を推奨することもできる。例えば、バーチャルフィッティング装置１００は、ユーザのバーチャルフィッティング履歴情報に基づいてフィードバックスコアを算出し、フィードバックスコアが基準値以上である装身具と類似する装身具をユーザに推奨することができる。

図１４は、本開示の第３の実施例による装身具推奨方法を示す例示的なフローチャートである。

図１４に示すように、本実施例では、ＧＡＮに基づく変換モデルを装身具推奨に活用することができる。具体的には、変換モデルを介してユーザの顔画像を装身具着用画像に変換し、装身具着用画像上の装身具画像と類似する装身具をユーザに推奨することができる（Ｓ６１０，Ｓ６２０）。このとき、装身具の類似度は、装身具の類型、デザイン要素（例えば形状，色，サイズ，形態など）などを考慮し、算出することができ、どのような方式で算出されても差し支えない。

本実施例において、前記変換モデルは、最新のファッショントレンドをリードする有名人（例えば芸能人，ファッションインフルエンサーなど）の装身具未着用画像と装身具着用画像を学習することによって構築することができる。構築方法については、図８～図１０の説明部分を参照してほしい。このような場合、変換モデルは、ユーザの顔画像をユーザと類似するスタイルを有する有名人の装身具着用画像のように変換されるので、ユーザのスタイルに合った、かつ最新のファッショントレンドが反映された装身具をユーザに推奨することができる。

図１５は、本開示の第４の実施例による装身具推奨方法を示す例示的なフローチャートである。

図１５に示すように、本実施例では、ユーザ入力によって装身具のデザイン要素が変更されることを反映して推奨を行うことができる。具体的には、バーチャルフィッティング装置１００が装身具に対する合成画像を提供した後、ユーザ入力に応答し、合成画像上の装身具領域に対して少なくとも１つのデザイン要素（例えばサイズ，色，形状など）を変更したと仮定する（Ｓ７１０，Ｓ７２０）。このような場合、バーチャルフィッティング装置１００は、変更された装身具領域の画像とデザイン類似度が基準値以上である装身具をユーザに推奨することができる（Ｓ７３０）。例えばバーチャルフィッティング装置１００は、予め保存された複数の装身具製品の画像の中から、前記変更された装身具領域とデザインが最も類似する装身具製品をユーザに推奨することができる。このような場合、ユーザのデザイン嗜好度が反映された推奨を行うことができるので、装身具推奨の正確度が向上され、ユーザの満足度を向上させることができる。

一方、いくつかの実施例では、バーチャルフィッティング装置１００は、上述した第１～第４の実施例のうち、少なくとも１つに基づいて多数の装身具について推奨スコアを算出し、推奨スコアを基準値以上である複数の装身具を推奨候補として決定することができる。また、バーチャルフィッティング装置１００は、各装身具の販売者の優先順位を考慮し、前記複数の装身具に対する推奨順位を決定することもできる。例えば推奨スコアが類似する場合、バーチャルフィッティング装置１００は、課金サービスを利用する販売者の装身具を優先的に推奨することもできる。このような場合、装身具推奨機能を通じて新しい収益モデルを構築することができる。

また、バーチャルフィッティング装置１００は、上述した第１～第４の実施例のそれぞれに従って推奨スコアを算出し、算出された推奨スコアを総合して装身具を推奨することができる。

参考までに、これまでに説明した装身具推奨方法は、装身具推奨モジュール１６５によって実行されてもよく、サービス提供サーバ２００によって実行されてもよい。また、上述した装身具推奨方法は、ユーザ要請（例えば特定ユーザ入力受信）に応答して実行されてもよく、所定の条件が満たされたことに応答し、自動的に実行されてもよい。また、バーチャルフィッティング装置１００は、装身具のリストをユーザに提供する際（図５参照）、推奨装身具を含ませて提供することもできる。

これまで、図１２～図１５を参照して、本開示のいくつかの実施例による装身具推奨方法について説明した。前記の方法によれば、ユーザに適した装身具を様々な方法で推奨することができる。これにより、ユーザが所望の装身具を探したり購入したりするのに要する時間を短縮することができ、装身具の販売をより促進させることができる。さらに、バーチャルフィッティングサービスを利用するユーザの満足度をさらに向上させることができる。

これまで、図１～図１５を参照して説明された本開示の技術的思想は、コンピュータが読み取り可能な媒体上でコンピュータが読取可能なコードで具現されることができる。前記コンピュータで読み取り可能な記録媒体は、例えば移動型記録媒体（ＣＤ，ＤＶＤ，ブルーレイディスク，ＵＳＢ保存装置，リムーバブルハードディスク）、または固定式記録媒体（ＲＯＭ，ＲＡＭ，コンピュータ据え置き型ハードディスク）であってもよい。前記コンピュータで読み取り可能な記録媒体に記録された前記コンピュータプログラムは、インターネットなどのネットワークを介して他のコンピューティングデバイスに転送され、前記他のコンピューティングデバイスにインストールされることができ、それによって前記他のコンピューティングデバイスにて使用することができる。

以上、本開示の実施例を構成する全ての構成要素が１つに結合される、または結合して動作するものとして説明されたとしても、本開示の技術的思想が必ずしもこの実施例に限定されるものではない。すなわち、本開示の目的の範囲内であれば、そのすべての構成要素が１つ以上に選択的に結合して動作することもできる。

図面では動作が特定の順序で示されているが、必ずしも動作が示された特定の順序でまたは順次順番に実行されるべきであるか、または示されたすべての動作が実行されなければ所望の結果が得られないものとして理解すべきではない。特定の状況では、マルチタスクおよび並列処理が有利であり得る。さらに、前記の実施例では、様々な構成の分離は、そのような分離が必ずしも必要であると理解されるべきではなく、説明されたプログラム構成要素およびシステムは、一般に単一のソフトウェア製品に統合する、または複数のソフトウェア製品にパッケージ化することができることを理解する必要がある。

以上、添付の図面を参照して本開示の実施例を説明したが、本開示が属する技術分野で通常の知識を有する者は、その技術的思想や必須の特徴を変更することなく、本開示が他の具体的な形態でも実施され得ることが理解される。したがって、上述の実施例はあらゆる点で例示的なものであり、限定的なものではないと理解すべきである。本開示の保護範囲は、以下の特許請求の範囲によって解釈されるべきであり、それと同等の範囲内にあるすべての技術思想は、本開示によって定義される技術的思想の権利範囲に含まれるものと解釈されるべきである。

本発明は、バーチャルフィッティングサービスを提供する方法、装置およびそのシステムに関するものであって、目の周りの装身具に対するバーチャルフィッティングサービスを提供する方法、その方法を実行する装置およびシステムとして利用することができる。

Claims (14)

1. コンピューティングデバイスにおいて目の周りの装身具に対するバーチャルフィッティングサービスを提供する方法であって、
   ユーザの顔画像を取得する段階；
   装着具の画像を取得する段階；
   前記取得された顔画像および前記取得された装身具画像を合成する段階；および
   前記合成された画像を提供する段階を含む、バーチャルフィッティングサービス提供方法。
2. 前記装身具は、コンタクトレンズであって、前記取得された顔画像および前記装身具画像を合成する段階は、
   前記取得された顔画像において目の領域を識別する段階；
   前記識別された目の領域において瞳孔領域を検出する段階；および
   前記検出された瞳孔領域に基づいて前記取得された顔画像上に前記コンタクトレンズの画像をオーバーレイする段階を含む、請求項１に記載のバーチャルフィッティングサービス提供方法。
3. 前記取得された顔画像および前記装身具画像を合成する段階は、前記コンタクトレンズの情報に基づいて前記オーバーレイされた画像のコンタクトレンズ領域を補正する段階をさらに含むが、
   前記補正する段階は、前記コンタクトレンズの色情報と透明度情報に基づいて前記コンタクトレンズ領域の色を補正する段階；および
   前記コンタクトレンズの類型情報に基づいて前記コンタクトレンズ領域のサイズを補正する段階を含む、請求項２に記載のバーチャルフィッティングサービス提供方法。
4. 前記取得された顔画像および装身具画像を合成する段階は、ＧＡＮ（Generative Adversarial Networks）に基づく画像合成モデルを介して前記取得された顔画像および前記装身具画像を合成する段階を含むが、
   前記画像合成モデルは、顔画像と装身具画像の入力を受け、合成されたフェイク画像を生成する生成器と、前記生成されたフェイク画像および本物の装身具着用画像を判別する弁別器と、を含む、請求項１に記載のバーチャルフィッティングサービス提供方法。
5. 前記生成器は、前記生成されたフェイク画像に対する前記弁別器の予測誤差に基づいて学習され、前記生成器は、前記生成されたフェイク画像から抽出された第１の装身具領域と前記本物の装身具装着画像から抽出された第２の装身具領域との間の誤差にさらに基づいて学習される、請求項４に記載のバーチャルフィッティングサービス提供方法。
6. 前記装身具は、コンタクトレンズであって、
   ユーザ入力に応答し、前記提供された合成画像を処理する段階をさらに含むが、前記提供された合成画像を処理する段階は、前記ユーザ入力に応答し、前記合成画像に含まれた２つの目の領域のうちのいずれかの目の領域に関連する合成処理を除去する段階を含む、請求項１に記載のバーチャルフィッティングサービス提供方法。
7. 前記提供された合成画像に関連するユーザ入力を受信する段階；および
   前記受信されたユーザ入力に応答し、前記装身具に関連する販売サイトに対する情報を提供する段階をさらに含む、請求項１に記載のバーチャルフィッティングサービス提供方法。
8. 前記顔画像は、第１のスタイルの顔画像であり、前記取得した顔画像と前記取得した装身具画像を合成する段階は、ＧＡＮ（Generative Adversarial Networks）に基づく画像変換モデルを介して前記顔画像を第２のスタイルの顔画像に変換する段階；
   前記第１のスタイルの顔画像を前記取得された装身具画像と合成し、第１の合成画像を生成する段階；および
   前記第２のスタイルの顔画像を前記取得された装身具画像と合成し、第２の合成画像を生成する段階を含む、請求項１に記載のバーチャルフィッティングサービス提供方法。
9. 前記ユーザに装身具を推奨することをさらに含むが、前記推奨する段階は、前記ユーザのプロファイル情報に基づいて前記装身具を推奨する段階を含み、
   前記プロファイル情報は、前記ユーザの目の色、目の大きさ、目の形および視力のうちの少なくとも１つの情報を含む、請求項１に記載のバーチャルフィッティングサービス提供方法。
10. 前記ユーザに装身具を推奨することをさらに含むが、前記推奨する段階は、前記ユーザのプロファイル情報と類似度が基準値以上であるプロファイル情報を有する他のユーザを決定する段階；および
    前記決定された他のユーザのバーチャルフィッティング履歴情報に基づいて前記装身具を推奨する段階を含む、請求項１に記載のバーチャルフィッティングサービス提供方法。
11. 前記ユーザに装身具を推奨する段階をさらに含むが、前記推奨する段階は、ＧＡＮ（Generative Adversarial Networks）に基づく画像変換モデルを介して前記取得された顔画像を装身具着用画像に変換する段階；および
    前記変換された装身具着用画像に基づいて前記装身具を推奨する段階を含む、前記請求項１に記載のバーチャルフィッティングサービス提供方法。
12. 前記ユーザに装身具を推奨する段階をさらに含むが、前記推奨する段階は、ユーザ入力に応答し、前記提供された合成画像上の装身具領域に対する少なくとも１つのデザイン要素を変更する段階；および
    予め保存された複数の装身具画像の中から前記変更された装身具領域と類似度が基準値以上である装身具を推奨する段階を含む、請求項１に記載のバーチャルフィッティングサービス提供方法。
13. ディスプレイを含む出力部；および
    ユーザの顔画像およびフィッティング対象となる目の周りの装身具画像を合成し、前記合成された画像が前記ディスプレイを介して出力されるように前記出力部を制御する制御部を含む、バーチャルフィッティング装置。
14. コンピューティングデバイスと結合され、ユーザの顔画像を取得する段階；
    フィッティング対象となる目の周りの装身具画像を取得する段階；
    前記取得された顔画像と前記取得された装身具画像を合成する段階；および
    前記合成された画像を提供する段階を実行するためにコンピュータ読み取り可能な記録媒体に保存された、コンピュータプログラム。

Images