JP7443473B2 - ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム - Google Patents

ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム Download PDF

Info

Publication number
JP7443473B2
JP7443473B2 JP2022186934A JP2022186934A JP7443473B2 JP 7443473 B2 JP7443473 B2 JP 7443473B2 JP 2022186934 A JP2022186934 A JP 2022186934A JP 2022186934 A JP2022186934 A JP 2022186934A JP 7443473 B2 JP7443473 B2 JP 7443473B2
Authority
JP
Japan
Prior art keywords
garment
fitting
virtual fitting
virtual
characteristic parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022186934A
Other languages
English (en)
Other versions
JP2023076818A (ja
Inventor
ロク キュ イ,
ヒョク ジェ イ,
ハ ウン アン,
ビョム ヒョク ク,
Original Assignee
エヌエイチエヌ クラウド コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌエイチエヌ クラウド コーポレーション filed Critical エヌエイチエヌ クラウド コーポレーション
Publication of JP2023076818A publication Critical patent/JP2023076818A/ja
Application granted granted Critical
Publication of JP7443473B2 publication Critical patent/JP7443473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラムに関する。より詳しくは、ビデオ会議に参加した少なくとも1人の使用者が着用している衣装に基づいて仮想試着プロセスを行うビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラムに関する。
長い間、ビデオ会議システム(Video meeting systems)は互いに異なる位置にいる参加者間のリアルタイム画像通信を可能にしてきた。
これによって、一位置にいる参加者が他の参加者と遠隔の位置に離れていてもその他の参加者が話すオーディオ及びビデオなどをリアルタイムで確認できる。
このように遠隔の他の参加者を画像通信に基づいて見ることができるということは、参加者が相互間の表情、ジェスチャーまたは音声通話中に見ることができないその他の視覚的情報を提供するため、より生産的なコミュニケーションを可能にする。
このようなビデオ会議システムが発展すると同時に、最近はCOVID-19(Coronavirus disease-2019)などのウイルスの拡散と情報通信技術(Information and Communications Technology、ICT)の発達などにより在宅勤務の比重が高くなり、人と人の間において非対面方式のプロセスを好む傾向が高まっている。
従って、前述のようなビデオ会議システムを利用した非対面方式の遠隔コミュニケーションが活発に行われている。
この時、前記のようなビデオ会議システムを介して行われるビデオ会議の参加者は、相互間のより円滑なコミュニケーションのために自身を撮影した映像を共有することになる。
このような映像共有の過程で参加者は、該当ビデオ会議の特性や会議雰囲気などに応じて適した衣服を着ることを要求されることになる。
しかしながら、楽な服装で在宅勤務をする途中において、ビデオ会議のために衣服を着替えなければならない、又は参加するビデオ会議の特性や雰囲気などに合わせて多様な衣類を備えなければならないという不便さが発生する。
また、参加者は、参加しようとする特定のビデオ会議の特性や雰囲気などを事前に通知されていない場合、又は他の参加者が普遍的に着用するドレスコードに関する情報がない場合などに、自分の衣装アティテュード(attitude)を決定することが困難になり、これにより、ビデオ会議システムの使用が低下する問題がある。
従って、前記のような問題点を解決するための新しい技術の開発及び導入が必要となっている。
韓国公開特許第10-2021-0083551号公報
本発明の一実施形態は、ビデオ会議に参加した少なくとも1人の使用者が着用している衣装に基づいて仮想試着プロセスを行うビデオ会議プログラムベースの仮想フィッティング方法及びそのシステムの提供を目的とする。
詳しくは、本発明の一実施形態は、ビデオ会議に参加する少なくとも1人の他の使用者が着用した衣装に基づいて仮想の衣イメージを取得し、前記取得された仮想の衣服イメージを前記ビデオ会議に参加する使用者に仮想試着させて提供するビデオ会議プログラムベースの仮想フィッティング方法及びそのシステムを提供することを目的とする。
ただし、本発明及び本発明の一実施形態が達成しようとする技術的課題は、前記のような技術的課題に限定されず、また他の技術的課題が存在し得る。
本発明の一実施形態によるビデオ会議プログラムベースの仮想フィッティング方法は、端末の少なくとも1つのプロセッサにより行われるフィッティングアプリケーションがビデオ会議プログラムベースの仮想フィッティングを実行する方法であって、前記ビデオ会議に参加した他の使用者を撮影した少なくとも1つの他の参加者の映像を取得する段階、前記取得された他の参加者の映像内の前記他の使用者が着用している衣服の形状を特定する衣服特性パラメータ値を取得する段階、前記取得された衣服特性パラメータ値に基づいて前記他の使用者が着用している衣服が分類される衣装カテゴリを決定する段階、前記決定された衣装カテゴリに基づいて前記ビデオ会議に対するドレスコード(dress code)を決定する段階、前記決定されたドレスコード及び前記衣服特性パラメータ値のうち少なくとも1つに基づいて少なくとも1つの候補フィッティング衣服を検出する段階、前記検出された候補フィッティング衣服に基づいて前記ビデオ会議に参加した使用者に仮想試着させようとする衣服イメージである仮想フィッティング衣服を決定する段階、前記決定された仮想フィッティング衣服を前記使用者を撮影したメイン参加者の映像内の前記使用者に仮想試着させた仮想フィッティング映像を生成する段階、及び前記生成された仮想フィッティング映像を提供する段階を含む。
前記衣服特性パラメータ値は、所定の衣服の色、パターンの種類、ネックライン(neckline)の種類及びスリーブ(sleeve)の長さのうち少なくとも1つを含む衣服特性パラメータのそれぞれに対するデータ値を含んでよい。
前記ドレスコード(dress code)を決定する段階は、少なくとも1つの衣装カテゴリ別の出現頻度数に基づいて前記ドレスコードを決定する段階を含んでよい。
前記候補フィッティング衣服を検出する段階は、前記ドレスコードにマッチングされる衣装のカテゴリに分類されて既に格納されている複数の衣服イメージのうち少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出する段階を含んでよい。
前記候補フィッティング衣服を検出する段階は、前記少なくとも1つの衣服特性パラメータ値内の前記衣服特性パラメータ別に最多出現データ値を取りまとめた統合特性パラメータ値を生成する段階と、前記生成された統合特性パラメータ値をデータベースに既に格納されている複数の衣服イメージのそれぞれの衣服特性パラメータ値と比較する段階と、前記統合特性パラメータ値と所定の一致率を満たす衣服特性パラメータ値を有する少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出する段階を含んでよい。
前記候補フィッティング衣服を検出する段階は、前記ドレスコードにマッチングされる衣装カテゴリに分類されて既に格納されている複数の衣服イメージのうち前記統合特性パラメータ値と所定の一致率を満たす衣服特性パラメータ値を有する少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出する段階を含んでよい。
前記仮想フィッティング衣服を決定する段階は、前記少なくとも1つの候補フィッティング衣服のいずれか1つを選択する使用者入力に基づいて前記仮想フィッティング衣服を決定する段階を含んでよい。
前記仮想フィッティング衣服を決定する段階は、前記使用者入力に基づいて選択された候補フィッティング衣服の前記衣服特性パラメータ値を変更するパラメータ調整インタフェースを提供する段階と、前記提供されたパラメータ調整インタフェースに基づいた使用者入力に基づいて前記選択された候補フィッティング衣服の前記衣服特性パラメータ値を変更する段階と、前記衣服特性パラメータ値が変更された候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階をさらに含んでよい。
前記仮想フィッティング衣服を決定する段階は、前記少なくとも1つの候補フィッティング衣服のうち前記統合特性パラメータ値と最も高い一致率の衣服特性パラメータ値を有する候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階を含んでよい。
前記仮想フィッティング衣服を決定する段階は、前記少なくとも1つの候補フィッティング衣服のうち前記仮想試着を行う時のデータ処理量及びデータ処理時間のうち少なくとも1つを含む仮想試着演算量を最小に有する候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階を含んでよい。
前記生成された仮想フィッティング映像を提供する段階は、前記仮想フィッティング映像を前記ビデオ会議プログラムを介して送出して前記ビデオ会議に参加した少なくとも1人の他の使用者及び前記使用者の端末に提供する段階を含む。
一方、本発明の一実施形態によるビデオ会議プログラムベースの仮想フィッティングシステムは、仮想フィッティング映像を出力する少なくとも1つ以上のディスプレイ、少なくとも1つ以上のメモリ、及び少なくとも1つ以上のプロセッサを含み、前記メモリに格納され、前記プロセッサにより実行されてビデオ会議プログラムベースの仮想フィッティングを行う少なくとも1つのアプリケーションであって、前記少なくとも1つのアプリケーションは、前記ビデオ会議に参加した他の使用者を撮影した少なくとも1つの他の参加者映像を取得し、前記取得された他の参加者映像内の前記他の使用者が着用している衣服の形状を特定する衣服特性パラメータ値を取得し、前記取得された衣服特性パラメータ値に基づいて前記他の使用者が着用している衣服が分類される衣装カテゴリを決定し、前記決定された衣装カテゴリに基づいて前記ビデオ会議に対するドレスコード(dress code)を決定し、前記決定されたドレスコード及び前記衣服特性パラメータ値のうち少なくとも1つに基づいて少なくとも1つの候補フィッティング衣服を検出し、前記検出された候補フィッティング衣服に基づいて前記ビデオ会議に参加した使用者に仮想試着させようとする衣服イメージである仮想フィッティング衣服を決定し、前記決定された仮想フィッティング衣服を前記使用者を撮影したメイン参加者映像内の前記の使用者に仮想試着させた前記仮想フィッティング映像を生成し、前記仮想フィッティング映像を提供する。
本発明の一実施形態によるビデオ会議プログラムベースの仮想フィッティング方法及びそのシステムは、ビデオ会議に参加する少なくとも1人の他の使用者が着用した衣装に対応する仮想の衣服イメージを検出し、前記検出された仮想の衣服イメージを前記ビデオ会議に参加する使用者に仮想試着させて提供することにより、前記ビデオ会議の特性や雰囲気などに適したドレスコード(dress code)を満たす衣装を着用した姿の使用者撮影映像を前記ビデオ会議プログラムを介して提供可能である。
本発明の一実施形態によるビデオ会議プログラムベースの仮想フィッティング方法及びそのシステムは、ビデオ会議に参加した少なくとも1人の他の使用者の衣装に基づいて該当ビデオ会議に対するドレスコードを把握した後、これに対応する仮想の衣類を自動で使用者に仮想試着させて提供することにより、楽な服装で在宅勤務をする途中にビデオ会議のために衣服を着替えなければならない、又は参加するビデオ会議の特性や雰囲気など合わせて様々な衣類を備えなければならないという不便さを抑制することができる。
本発明の一実施形態によるビデオ会議プログラムベースの仮想フィッティング方法及びそのシステムは、ビデオ会議に参加した少なくとも1人の他の使用者の着用衣装に基づいて該当ビデオ会議のドレスコードを決定し、決定されたドレスコードを満たす仮想の衣装を使用者に仮想試着させて提供することにより、ビデオ会議に参加しようとする使用者が自分の衣装アティテュード(attitude)を決定するために消耗する時間や費用を節減可能であると共に、ビデオ会議プログラムの使用頻度を増やすことができる。
ただし、本発明において得られる効果は、上述の効果に限定されず、上述していない他の効果は下記の記載から理解することができる。
本発明の実施形態によるビデオ会議プログラムベースの仮想フィッティングシステムの概念図である。 本発明の実施形態による端末の内部ブロック図である。 本発明の実施形態によるビデオ会議プログラムベースの仮想フィッティング方法を説明するためのフローチャートである。 本発明の実施形態によるビデオ会議インタフェースを示す様子の一例である。 本発明の実施形態による仮想フィッティング衣服を決定する方法を説明するためのフローチャートである。 本発明の実施形態による仮想フィッティング衣服を決定する方法を説明するための概念図である。 本発明の実施形態によるヒューマンパーシング(Human parsing)を説明するための一例である。 本発明の実施形態による他の参加者の衣服イメージの一例である。 本発明の実施形態による仮想フィッティング映像を生成する方法を説明するための一例である。 本発明の実施形態による仮想フィッティング映像をビデオ会議インタフェースに基づいて提供する様子の一例である。
図1は、本発明の実施形態によるビデオ会議プログラムベースの仮想フィッティングシステムの概念図である。
図1を参照すると、本発明の一実施形態によるビデオ会議プログラムベースの仮想フィッティングシステム1000は、ビデオ会議に参加した少なくとも1人の使用者が着用している衣装に基づいて仮想試着プロセスを行うビデオ会議ベースの仮想フィッティングサービスを提供する。
ここで、一実施形態による前記ビデオ会議プログラムとは、遠隔に位置する端末間の通信に基づいて音声、文字、イメージ及び/又は映像などを基礎に遠隔の使用者間のコミュニケーションをサポートするシステムを意味する。
一実施形態において、前記のようなビデオ会議ベースの仮想フィッティングサービスを提供するビデオ会議プログラムベースの仮想フィッティングシステム1000は、端末100、仮想フィッティング提供サーバ200及びネットワーク(Network)300を含む。
ここで、端末100及び仮想フィッティング提供サーバ200は、ネットワーク300を介して接続される。
ここで、一実施形態によるネットワーク300は、端末100及び/又は仮想フィッティング提供サーバ200などのそれぞれのノード相互間に情報交換が可能な接続構造を意味し、ネットワーク300の一例には3GPP(3rd Generation Partnership Project)(登録商標)ネットワーク、LTE(Long Term Evolution)ネットワーク、WIMAX(World Interoperability for Microwave Access)ネットワーク、インターネット(Internet)、LAN(Local Area Network)、Wireless LAN(Wireless Local Area Network)、WAN(Wide Area Network)、PAN(Personal Area Network)、ブルートゥース(Bluetooth)(登録商標)ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、DMB(Digital Multimedia Broadcasting)ネットワークなどが含まれるが、これらに限定されない。
以下において、添付の図面を参照してビデオ会議プログラムベースの仮想フィッティングシステム1000を実現する端末100及び仮想フィッティング提供サーバ200について詳しく説明する。
-端末(Terminal)100-
本発明の一実施形態による端末100は、ビデオ会議ベースの仮想フィッティングサービスを提供するフィッティングアプリケーションが設置された所定のコンピューティングデバイスであってもよい。
詳しくは、ハードウェア的な観点から、端末100は、フィッティングアプリケーションが設置されたモバイルタイプのコンピューティング装置100-1及び/又はデスクトップタイプのコンピューティング装置100-2などを含む。
ここで、モバイルタイプのコンピューティング装置100-1は、フィッティングアプリケーションが設置されたスマートフォンやタブレットPCのようなモバイル装置であってもよい。
例えば、モバイルタイプのコンピューティング装置100-1は、スマートフォン(smart phone)、携帯電話、デジタル放送用デバイス、PDA(personal digital assistants)、PMP(portable multimedia player)、タブレットPC(tablet PC)などを含む。
また、デスクトップタイプのコンピューティング装置100-2は、フィッティングアプリケーションが設置された固定型デスクトップPC、ノートパソコン(laptop computer)、ウルトラブック(ultrabook)などのパーソナルコンピュータのように有線/無線通信に基づいてビデオ会議ベースの仮想フィッティングサービスを実行するためのプログラムが設置された装置などを含む。
また、本発明の一実施形態によっては、端末100は、ビデオ会議ベースの仮想フィッティングサービス環境を提供する所定のサーバ(Server)コンピューティングデバイスをさらに含んでもよい。
図2は、本発明の実施形態による端末100の内部ブロック図である。
図2を参照すると、端末100は、メモリ110、プロセッサアセンブリ120、通信モジュール130、インタフェースモジュール140、入力システム150、センサシステム160及びディスプレイシステム170を含む。このような構成要素は端末100のハウジング内に含まれるように構成されてもよい。
詳しくは、メモリ110には、フィッティングアプリケーション111が格納され、フィッティングアプリケーション111は、ビデオ会議基ベースの仮想フィッティングサービス環境を提供するための各種の応用プログラム、データ及び命令語のうちいずれか1つ以上を格納することができる。
すなわち、メモリ110は、ビデオ会議ベースの仮想フィッティングサービス環境を生成するために使用される命令及びデータなどを格納することができる。
また、メモリ110は、プログラム領域とデータ領域を含む。
ここで、本発明の一実施形態によるプログラム領域は、端末100を起動するオペレーティングシステム(OS:Operating System)及び機能要素の間に連携され、データ領域は、端末100の使用により発生するデータが格納される。
また、メモリ110は、少なくとも1つ以上の非一時的コンピュータ読み取り可能格納媒体と、一時的コンピュータ読み取り可能格納媒体を含む。
例えば、メモリ110は、ROM、EPROM、フラッシュドライブ、ハードドライブなどの多様な格納機器であり、インターネット(internet)上において前記メモリ110の格納機能を行うウェブストレージ(web storage)を含んでもよい。
プロセッサアセンブリ120は、ビデオ会議ベースの仮想フィッティングサービス環境を生成するための様々な作業を行うために、メモリ110に格納されたフィッティングアプリケーション111の命令を実行できる少なくとも1つ以上のプロセッサを含んでもよい。
本発明の一実施形態において、プロセッサアセンブリ120は、ビデオ会議ベースの仮想フィッティングサービスを提供するために、メモリ110のフィッティングアプリケーション111を介して構成要素の全般的な動作をコントロールすることができる。
このようなプロセッサアセンブリ120は、中央処理装置(CPU)及び/又はグラフィック処理装置(GPU)などが含まれた端末100に適したシステムオンチップ(SOC)であってもよく、メモリ110に格納されたオペレーティングシステム(OS)及び/又はアプリケーションプログラムなどを実行することができ、端末100に搭載された各構成要素を制御することができる。
また、プロセッサアセンブリ120は、各構成要素と内部的にシステムバス(System Bus)により通信を行うことができ、ローカルバス(Local Bus)をはじめとする所定のバス構造を1つ以上含んでもよい。
また、プロセッサアセンブリ120は、ASICs(application specific integrated circuits)、DSPs(digital signal processors)、DSPDs(digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、コントローラ(controllers)、マイクロコントローラ(micro-controllers)、マイクロプロセッサ(microprocessors)、その他の機能実行のための電気的ユニットのうち少なくとも1つを利用して実現されてもよい。
通信モジュール130は、外部の装置と通信するための1つ以上の装置を含んでもよい。このような通信モジュール130は無線ネットワークを介して通信することができる。
詳しくは、通信モジュール130は、ビデオ会議ベースの仮想フィッティングサービス環境を実現するためのコンテンツソースを格納した端末100と通信でき、使用者入力を受信したコントローラのような多様な使用者入力コンポーネントと通信することができる。
本発明の一実施形態において、通信モジュール130は、ビデオ会議ベースの仮想フィッティングサービスと関連した各種データを他の端末100及び/又は外部のサーバなどと送受信することができる。
このような通信モジュール130は、移動通信のための技術標準又は通信方式(例えば、LTE(Long Term Evolution)、LTE-A(Long Term Evolution-Advanced)、5G NR(New Radio)、WIFI)又は近距離通信方式などを実行できる通信装置を介して構築された移動通信網上において基地局、外部の端末100、任意のサーバのうち少なくとも1つと無線でデータを送受信することができる。
センサシステム160は、イメージセンサ161、位置センサ(IMU)163、オーディオセンサ165、距離センサ、近接センサ、接触センサなどの様々なセンサを含む。
ここで、イメージセンサ161は、端末100の周辺の物理的空間に対するイメージ及び/又は映像をキャプチャすることができる。
本発明の一実施形態において、イメージセンサ161は、ビデオ会議ベースの仮想フィッティングサービスと関連した映像(例えば、使用者映像など)を撮影して取得することができる。
また、イメージセンサ161は、端末100の前面又は/及び背面に配置されて、配置された方向側を撮影して映像を取得することができ、端末100の外部に向かって配置されたカメラにより物理的空間を撮影することができる。
このようなイメージセンサ161は、イメージセンサ装置と映像処理モジュールを含む。詳しく、イメージセンサ161は、イメージセンサ装置(例えば、CMOS又はCCD)により得られる静止画又は動画を処理することができる。
また、イメージセンサ161は、画像処理モジュールを利用してイメージセンサ装置を介して取得された静止画又は動画を加工して必要な情報を抽出し、抽出された情報をプロセッサに伝達する。
このようなイメージセンサ161は、少なくとも1つ以上のカメラを含むカメラアセンブリであってもよい。カメラアセンブリは、可視光線帯域を撮影する一般カメラを含み、赤外線カメラ、ステレオカメラなどの特殊カメラをさらに含んでもよい。
また、前記のようなイメージセンサ161は、本発明の一実施形態によっては端末100に含まれて動作することができ、外部の装置(例えば、外部のサーバなど)に含まれて前述の通信モジュール130及び/又はインタフェースモジュール140に連動して動作することもできる。
位置センサ(IMU)163は、端末100の動き及び加速度のうち少なくとも1つ以上を感知することができる。例えば、位置センサ163は、加速度計、ジャイロスコープ、磁力計のような様々な位置センサの組み合わせから成ってもよい。
また、位置センサ(IMU)163は、通信モジュール130のGPSのような位置通信モジュール130と連動して、端末100の周辺の物理的空間に対する空間情報を認識することができる。
オーディオセンサ165は、端末100の周辺の音を認識することができる。
詳しく、オーディオセンサ165は、端末100を使用する使用者の音声入力を感知できるマイクロフォンを含んでもよい。
本発明の一実施形態において、オーディオセンサ165は、ビデオ会議ベースの仮想フィッティングサービスのために必要な音声データを使用者から受信することができる。
インタフェースモジュール140は、端末100を1つ以上の他の装置と通信可能に接続することができる。詳しく、インタフェースモジュール140は、1つ以上の異なる通信プロトコルと互換される有線及び/又は無線通信装置を含んでもよい。
このようなインタフェースモジュール140を介して端末100は、様々な入出力装置と接続できる。
例えば、インタフェースモジュール140は、ヘッドセットポートやスピーカのようなオーディオ出力装置と接続されて、オーディオを出力することができる。
例示的に、オーディオ出力装置がインタフェースモジュール140を介して接続されると説明しているが、オーディオ出力装置が端末100の内部に設置される形態も含まれる。
また、例えば、インタフェースモジュール140は、キーボード及び/又はマウスのような入力装置と接続されて、使用者入力を取得することができる。
例示的に、キーボード及び/又はマウスがインタフェースモジュール140を介して接続されると説明しているが、キーボード及び/又はマウスが端末100の内部に設置される形態も含まれる。
このようなインタフェースモジュール140は、有/無線ヘッドセットポート(port)、外部充電器ポート(port)、有/無線データポット(port)、メモリカード(memory card)ポート、識別モジュールが備えられた装置を接続するポート(port)、オーディオI/O(Input/Output)ポート(port)、ビデオI/O(Input/Output)ポート(port)、イヤホンポート(port)、電力増幅器、RF回路、送受信機、又はその他の通信回路のうち少なくとも1つを含んで構成される。
入力システム150は、ビデオ会議ベースの仮想フィッティングサービスと関連した使用者の入力(例えば、ジェスチャー、音声命令、ボタンの作動又は他のタイプの入力)を感知することができる。
詳しくは、入力システム150は、所定のボタン、タッチセンサ及び/又は使用者モーション入力を受信するイメージセンサ161などを含んでもよい。
また、入力システム150は、インタフェースモジュール140を介して外部コントローラと接続されて、使用者の入力を受信できる。
ディスプレイシステム170は、ビデオ会議ベースの仮想フィッティングサービスと関連した多様な情報をグラフィックイメージとして出力することができる。
本発明の一実施形態として、ディスプレイシステム170は、ビデオ会議インタフェース、メイン参加者映像、他の参加者映像及び/又は仮想フィッティング映像などを表示することができる。
このようなディスプレイは、液晶ディスプレイ(liquid crystal display、LCD)、薄膜トランジスタ液晶ディスプレイ(thin film transistor-liquid crystal display、TFT LCD)、有機発光ダイオード(organic light-emitting diode、OLED)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)、電子インクディスプレイ(e-ink display)のうち少なくとも1つを含んでもよい。
端末100のハウジング内には前記構成要素が配置されてもよく、使用者インタフェースは使用者のタッチ入力を受信するように構成されたディスプレイ171上にタッチセンサ173を含んでもよい。
詳しくは、ディスプレイシステム170は、イメージを出力するディスプレイ171と、使用者のタッチ入力を感知するタッチセンサ173とを含む。
例示的に、ディスプレイ171はタッチセンサ173と相互レイヤ構造を形成する、又は一体型に形成されることにより、タッチスクリーンで実現されてもよい。このようなタッチスクリーンは、端末100と使用者間の入力インタフェースを提供する使用者入力部として機能するとともに、端末100と使用者間の出力インタフェースを提供することができる。
一方、本発明の一実施形態による端末100は、所定のディープラーニングニューラルネットワーク(Deep-learning Neural Network)と連動してビデオ会議ベースの仮想フィッティングサービスに必要なディープラーニングを行うことができる。
本発明の一実施形態として、端末100は、前記ディープラーニングニューラルネットワークを利用して所定の映像内の人領域をパーシングするヒューマンパーシング(Human parsing)及び/又は所定の映像内の身体座標情報抽出プロセスなどを行うことができる。
ここで、本発明の一実施形態によるディープラーニングニューラルネットワークは、畳み込みニューラルネットワーク(CNN、Convolution Neural Network)、R-CNN(Regions with CNN features)、Fast R-CNN、Faster R-CNN及び/又はMask R-CNNなどを含み、これらに限定されない。
また、本発明の一実施形態によっては、端末100は、後述の仮想フィッティング提供サーバ200において行う機能動作の少なくとも一部をさらに行うこともできる。
-仮想フィッティング提供サーバ(Virtual fitting server)200-
一方、本発明の一実施形態による仮想フィッティング提供サーバ200は、ビデオ会議ベースの仮想フィッティングサービスを提供するための一連のプロセスを行うことができる。
詳しくは、本発明の一実施形態において仮想フィッティング提供サーバ200は、端末100のような外部装置においてビデオ会議ベースの仮想フィッティングプロセスが駆動されるようにするために必要なデータを前記外部装置と交換することにより、前記ビデオ会議ベースの仮想フィッティングサービスを提供することができる。
より詳しくは、本発明の一実施形態において仮想フィッティング提供サーバ200は、外部の装置(本発明の一実施形態において、モバイルタイプのコンピューティング装置100-1及び/又はデスクトップタイプのコンピューティング装置100-2など)においてフィッティングアプリケーション111が動作可能な環境を提供することができる。
このために、仮想フィッティング提供サーバ200は、フィッティングアプリケーション111が動作するためのアプリケーション、データ及び/又は命令語などを含み、これに基づくデータを前記外部の装置と送受信することができる。
また、本発明の一実施形態において、仮想フィッティング提供サーバ200は、所定のビデオ会議プログラムを実行することができる。
また、本発明の一実施形態において仮想フィッティング提供サーバ200は、前記実行されたビデオ会議プログラムに基づく仮想フィッティング衣服を決定することができる。
ここで、本発明の一実施形態による仮想フィッティング衣服とは、前記ビデオ会議プログラムによるビデオ会議に参加する使用者を撮影した映像(本発明の一実施形態において、メイン参加者映像)内の使用者に対して仮想試着させようとする所定の衣服イメージを意味する。
詳しくは、仮想フィッティング提供サーバ200は、前記ビデオ会議に参加する少なくとも1人の他の使用者が着用した衣装に基づいて前記の仮想フィッティング衣服を決定する。
また、本発明の一実施形態において仮想フィッティング提供サーバ200は、前記決定された仮想フィッティング衣服に基づいて仮想フィッティング映像を生成することができる。
ここで、本発明の一実施形態による前記仮想フィッティング映像とは、前記ビデオ会議に参加する使用者を撮影した映像(本発明の一実施形態において、メイン参加者映像)内の使用者に前記決定された仮想フィッティング衣服を仮想試着させた映像を意味する。
また、本発明の一実施形態において、仮想フィッティング提供サーバ200は、前記生成された仮想フィッティング映像を外部のコンピューティングデバイス(本発明の一実施形態として、端末100など)に送信して提供することができる。
また、本発明の一実施形態において仮想フィッティング提供サーバ200は、所定のディープラーニングニューラルネットワーク(Deep-learning Neural Network)と連動してビデオ会議ベースの仮想フィッティングサービスに必要なディープラーニングを行うことができる。
本発明の一実施形態として、仮想フィッティング提供サーバ200は、前記ディープラーニングニューラルネットワークを利用して所定の映像内の人領域をパーシングするヒューマンパーシング(Human parsing)及び/又は所定の映像内の身体座標情報抽出プロセスなどを行うことができる。
より詳しくは、本発明の一実施形態において仮想フィッティング提供サーバ200は、前記ディープラーニングを行うために構築されている所定のディープニューラルネットワーク駆動プログラムをメモリモジュール230から読み出して、前記読み出された所定のディープニューラルネットワークシステムによって後述のディープラーニングを行うことができる。
ここで、本発明の一実施形態による前記ディープラーニングニューラルネットワークは、畳み込みニューラルネットワーク(CNN、Convolution Neural Network)、R-CNN(Regions with CNN features)、Fast R-CNN、Faster R-CNN及び/又はMask R-CNNなどを含み、これらに限定されない。
ここで、本発明の一実施形態によっては、前記のようなディープラーニングニューラルネットワークは、仮想フィッティング提供サーバ200に直接含まれる、又は仮想フィッティング提供サーバ200とは別の装置及び/又はサーバとして実現されて前記ビデオ会議ベースの仮想フィッティングサービスのためのディープラーニングを行うことができる。
以下の説明においては、前記ディープラーニングニューラルネットワークが仮想フィッティング提供サーバ200に含まれて実現されると説明しているが、これに限定されるものではない。
また、本発明の一実施形態において、仮想フィッティング提供サーバ200は、ビデオ会議ベースの仮想フィッティングサービスを実現するための各種の応用プログラム、命令語及び/又はデータなどを格納及び管理することができる。
本発明の一実施形態として、仮想フィッティング提供サーバ200は、少なくとも1つ以上のビデオ会議インタフェース、メイン参加者映像、他の参加者映像、仮想フィッティング映像及び/又は所定のディープラーニングモデルなどを格納及び管理することができる。
一方、図1をさらに参照すると、本発明の一実施形態において前記のような仮想フィッティング提供サーバ200は、データ処理のための少なくとも1つ以上のプロセッサモジュール(Processor Module)210と、外部の装置とのデータ交換のための少なくとも1つ以上のコミュニケーションモジュール(Communication Module)220と、ビデオ会議ベースの仮想フィッティングサービスの提供のための各種の応用プログラム、データ及び/又は命令語を格納する少なくとも1つ以上のメモリモジュール(Memory Module)230を含む所定のコンピューティング装置で実現されてもよい。
ここで、メモリモジュール230は、ビデオ会議ベースの仮想フィッティングサービスを提供するためのオペレーティングシステム(OS)、各種の応用プログラム、データ及び命令語のうちいずれか1つ以上を格納することができる。
また、メモリモジュール230は、プログラム領域とデータ領域を含む。
ここで、本発明の一実施形態によるプログラム領域は、サーバを起動するオペレーティングシステム(OS:Operating System)及び機能要素の間に連携されることができ、データ領域は、サーバの使用により発生するデータが格納することができる。
本発明の一実施形態において、このようなメモリモジュール230は、ROM、RAM、EPROM、フラッシュドライブ、ハードドライブなどの多様な格納機器であってもよく、インターネット(internet)上において前記メモリモジュール230の格納機能を遂行するウェブストレージ(web storage)であってもよい。
また、メモリモジュール230は、サーバ上に脱着可能な形態記録媒体であってもよい。
一方、プロセッサモジュール210は、ビデオ会議ベースの仮想フィッティングサービスを実現するために前述の各ユニット(unit)の全般的な動作をコントロールすることができる。
このようなプロセッサモジュール210は、中央処理装置(CPU)及び/又はグラフィック処理装置(GPU)などが含まれたサーバに適したシステムオンチップ(SOC)であってもよく、メモリモジュール230に格納されたオペレーティングシステム(OS)及び/又はアプリケーションプログラムなどを実行することができ、サーバに搭載された各構成要素を制御することができる。
また、プロセッサモジュール210は、各構成要素と内部的にシステムバス(System Bus)により通信を実行することができ、ローカルバス(Local Bus)をはじめとする所定のバス構造を1つ以上含むことができる。
また、プロセッサモジュール210は、ASICs(application specific integrated circuits)、DSPs(digital signal processors)、DSPDs(digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、コントローラ(controllers)、マイクロコントローラ(micro-controllers)、マイクロプロセッサ(microprocessors)、その他の機能実行のための電気的ユニットのうち少なくとも1つを利用して実現されてもよい。
以上の説明においては、本発明の一実施形態による仮想フィッティング提供サーバ200が前述のような機能動作を実行すると説明している、又は、本発明の一実施形態によって、仮想フィッティング提供サーバ200において行う機能動作の少なくとも一部を外部の装置(例えば、端末100など)において行うこともでき、前記外部の装置において行う機能動作の少なくとも一部を前記仮想フィッティング提供サーバ200においてさらに行うこともできるなど、多様な形態が可能である。
-ビデオ会議プログラムベースの仮想フィッティング方法-
以下において、本発明の一実施形態による端末100の少なくとも1つ以上のプロセッサにより実行されるフィッティングアプリケーション111がビデオ会議プログラムベースの仮想フィッティングを行う方法を添付の図3乃至図10を参照して詳しく説明する。
本発明の一実施形態において、前記端末100の少なくとも1つ以上のプロセッサは、少なくとも1つ以上のメモリ110に格納された少なくとも1つ以上のフィッティングアプリケーション111を実行するか、バックグラウンド状態で動作させることができる。
以下において、前記少なくとも1つ以上のプロセッサが、前記フィッティングアプリケーション111の命令語を実行するために動作して前述のビデオ会議ベースの仮想フィッティングサービスを提供する方法を行うことを前記フィッティングアプリケーション111が行うことに短縮して説明する。
図3は、本発明の実施形態によるビデオ会議プログラムベースの仮想フィッティング方法を説明するためのフローチャートである。
図3を参照すると、本発明の一実施形態において、前記端末100の少なくとも1つ以上のプロセッサにより行われるか、バックグラウンド状態で動作するフィッティングアプリケーション111は、ビデオ会議プログラムを実行する(S101)。
図4は、本発明の実施形態によるビデオ会議インタフェースを示す様子の一例である。
ここで、図4を参照すると、本発明の一実施形態による前記ビデオ会議プログラムとは、遠隔に位置する端末100間の通信に基づいて音声、文字、イメージ及び/又は映像などを基に遠隔の使用者間のコミュニケーションをサポートするシステムを意味する。
本発明の一実施形態において、このようなビデオ会議プログラムは、当該ビデオ会議に参加する少なくとも1つの使用者のそれぞれを撮影した映像である少なくとも1つの参加者映像を含むビデオ会議インタフェース1を提供することができる。
ここで、本発明の一実施形態による前記参加者映像は、前記ビデオ会議に参加する使用者を撮影したメイン参加者映像10と少なくとも1人の他の使用者のそれぞれを撮影した少なくとも1つの他の参加者映像(20:21、22、23、24、25、…)を含む。
詳しく、本発明の一実施形態において、フィッティングアプリケーション111は、前記のようなビデオ会議プログラムを実行するために構築されている所定の駆動プログラムをメモリ110から読み出す。
また、フィッティングアプリケーション111は、前記読み出された所定の駆動プログラムによって前記ビデオ会議プログラムを実行することができる。
また、本発明の一実施形態において、フィッティングアプリケーション111は、前記実行されたビデオ会議プログラムに基づいた仮想フィッティング衣服を決定する(S103)。
ここで、本発明の一実施形態による前記仮想フィッティング衣服とは、前述のメイン参加者映像10内の使用者に対して仮想試着させようとする所定の衣服イメージを意味する。
図5は、本発明の実施形態による仮想フィッティング衣服を決定する方法を説明するためのフローチャートであり、図6は、本発明の実施形態による仮想フィッティング衣服を決定する方法を説明するための概念図である。
詳しくは、図5及び図6を参照すると、本発明の一実施形態においてフィッティングアプリケーション111は、1)少なくとも1つの他の参加者映像20を取得する(S201)。
すなわち、フィッティングアプリケーション111は、前記ビデオ会議に参加する少なくとも1人の他の使用者のそれぞれを撮影した映像である少なくとも1つの他の参加者映像20を取得することができる。
ここで、本発明の一実施形態としてフィッティングアプリケーション111は、前記他の参加者映像20をフレーム(frame)単位でデコードして取得することができる。
ここで、前記デコードされた各フレームは所定の静止画イメージであって、例えば、1280×720サイズのRGBイメージであってよい。
また、本発明の一実施形態において、フィッティングアプリケーション111は、2)前記取得された他の参加者映像20内の衣服特性パラメータ値を抽出する(S203)。
ここで、本発明の一実施形態による前記衣服特性パラメータとは、前記他の参加者映像20内の他の使用者が着用している衣服(本発明の一実施形態において、上着)の形状を特定できるパラメータを意味する。
本発明の一実施形態において、このような衣服特性パラメータは、色、パターンの種類、ネックライン(neckline)の種類及び/又はスリーブ(sleeve)の長さパラメータなどを含んでもよい。
すなわち、本発明の一実施形態において、前記衣服特性パラメータ値とは、前記のような衣服特性パラメータのそれぞれに対して取得されたデータ値の集合体を意味する。
図7は、本発明の実施形態によるヒューマンパーシング(Human parsing)を説明するための図の一例である。
詳しくは、図7を参照すると、本発明の一実施形態においてフィッティングアプリケーション111は、前記他の参加者映像20に基づいたヒューマンパーシング(Human parsing)を行うことができる。
ここで、本発明の一実施形態によるフィッティングアプリケーション111は、公知されたアルゴリズム(例えば、ヒューマンパーシングディープラーニングアルゴリズムなど)などに基づいて前記ヒューマンパーシングを行うことができ、本発明の一実施形態においては前記ヒューマンパーシングを行う方法及び/又はアルゴリズム自体を限定又は制限しない。
ここで、フィッティングアプリケーション111は、前記フレーム単位でデコードされた他の参加者映像20内の少なくとも1つのフレームのそれぞれに対して前記ヒューマンパーシングを行うことができる。
また、本発明の一実施形態においてフィッティングアプリケーション111は、前記ヒューマンパーシングの結果に基づいて前記他の参加者映像20内の他の使用者が着用している衣服(本発明の一実施形態において、上着)領域を形成する複数のピクセルを抽出することができる。
図8は、本発明の実施形態による他の参加者の衣服イメージの一例である。
また、図8を参照すると、本発明の一実施形態においてフィッティングアプリケーション111は、前記抽出された複数のピクセルに基づいて前記他の参加者映像20内の他の使用者が着用している衣服イメージ(以下、他の参加者の衣服イメージ30)を取得することができる。
また、本発明の一実施形態においてフィッティングアプリケーション111は、前記取得された他の参加者の衣服イメージ30に基づいて前記衣服特性パラメータ値を抽出することができる。
すなわち、フィッティングアプリケーション111は、前記のように取得された他の参加者の衣服イメージ30に対するイメージ分析を行って前記他の使用者が着用している衣服の形状を特定できる衣服特性パラメータ値を抽出することができる。
また、本発明の一実施形態において、フィッティングアプリケーション111は、3)前記抽出された衣服特性パラメータ値に基づいて該当衣服イメージに対応する衣装カテゴリを決定する(S205)。
ここで、本発明の一実施形態による前記衣装カテゴリとは、所定の衣服の属性による既に設定された分類範疇を意味する。
例えば、前記衣装カテゴリは、半袖Tシャツ、長袖Tシャツ、ノースリーブ、ブラウス、シャツ及び/又はニットカテゴリなどを含んでもよい。他の例として、前記衣装カテゴリは、テーラード、服飾品、カジュアルウェア及び/又はスポーツウェアカテゴリなどを含んでもよい。
詳しくは、本発明の一実施形態においてフィッティングアプリケーション111は、前記少なくとも1つの他の参加者映像20のそれぞれに基づいて抽出された少なくとも1つの衣服特性パラメータ値に基づいて、前記少なくとも1つの他の参加者映像20内の他の参加者の衣服イメージ30のそれぞれに対応する少なくとも1つの衣装カテゴリを決定することができる。
ここで、本発明の一実施形態としてフィッティングアプリケーション111は、Resnet、AlexNet及び/又はVGGNetなどの畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)に基づいたクラシフィケーション(classification)に基づいて前記衣服特性パラメータ値に対応する衣装カテゴリを決定することができる。ただし、これに限定されるものではなく、前記衣服特性パラメータ値を利用して該当衣服に対する衣装カテゴリを決定できるアルゴリズム及び/又はプロセスであれば、いかなるものでも本発明の一実施形態に含まれることができる。
例えば、フィッティングアプリケーション111は、前記ビデオ会議 に第1ないし第3他の使用者が参加した場合、第1他の参加者映像20に基づいて抽出された第1の衣服特性パラメータ値(本発明の一実施形態において、色、パターンの種類、ネックライン(neckline)の種類及び/又はスリーブ(sleeve)の長さの値など)に基づいて前記第1他の参加者が着用している衣服の属性に対応する第1衣装カテゴリ(例えば、半袖Tシャツなど)を決定することができる。
また、本発明の一実施形態において、フィッティングアプリケーション111は、第2他の参加者映像20に基づいて抽出された第2衣服特性パラメータ値に基づいて前記第2他の参加者が着用している衣服の属性に対応する第2衣装カテゴリ(例えば、半袖Tシャツなど)を決定することができる。
同様に、本発明の一実施形態において、フィッティングアプリケーション111は、第3他の参加者映像20に基づいて抽出された第3衣服特性パラメータ値に基づいて前記第3他の参加者が着用している衣服の属性に対応する第3衣装カテゴリ(例えば、長袖Tシャツなど)を決定することができる。
また、本発明の一実施形態において、フィッティングアプリケーション111は、4)前記決定された衣装カテゴリに基づいてドレスコード(dress code)を決定する(S207)。
ここで、本発明の一実施形態による前記ドレスコードとは、該当するビデオ会議での衣服のスタイル、格式、模様及び/又は色などを包括して指す情報であり、本発明の一実施形態において前述の仮想フィッティング衣服に対して設定された衣装カテゴリを意味する。
すなわち、本発明の一実施形態において前記ドレスコードは、前述のメイン参加者映像10内の使用者に対して仮想試着させようとする所定の衣服イメージ(以下、使用者衣服イメージ)が分類される衣装カテゴリでありうる。
詳しくは、本発明の一実施形態において、フィッティングアプリケーション111は、前記決定された少なくとも1つの衣装カテゴリ別の出現頻度数に基づいて前記ドレスコードを決定することができる。
本発明の一実施形態として、フィッティングアプリケーション111は、最も多くの出現頻度を有する最多出現衣装カテゴリを前記ドレスコードに決定することができる。
例えば、フィッティングアプリケーション111は、第1衣装カテゴリが「半袖Tシャツ」であり、第2衣装カテゴリが「半袖Tシャツ」であり、第3衣装カテゴリが「長袖Tシャツ」である場合、最も出現頻度の高い衣装カテゴリである「半袖Tシャツ」衣装カテゴリ(本例において2回出現)を前記ドレスコードに決定することができる。
ここで、本発明の一実施形態においてフィッティングアプリケーション111は、前記最多出現衣装カテゴリが複数である場合(例えば、第1衣装カテゴリ(例えば、半袖Tシャツ)1回、第2衣装カテゴリ(例えば、長袖Tシャツ)1回、そして第3衣装カテゴリ(例えば、ノースリーブ)1回である場合)、前記少なくとも1つの衣装カテゴリのうち1つの衣装カテゴリを任意に選定して前記ドレスコードに決定することもできる。
このように、フィッティングアプリケーション111は、当該ビデオ会議に参加した少なくとも1人の他の使用者が着用した衣服が最も多く属する衣装カテゴリ(例えば、半袖Tシャツなど)に前記ドレスコードを決定することにより、後で前記少なくとも1人の他の使用者が着用している衣服と同一特性を有する衣装を検出して前記仮想フィッティング衣服を決定することができる。
また、本発明の一実施形態においてフィッティングアプリケーション111は、5)前記決定されたドレスコード及び/又は衣服特性パラメータ値に基づいて少なくとも1つの候補フィッティング衣服を検出する(S209)。
ここで、本発明の一実施形態による前記候補フィッティング衣服とは、前記衣装カテゴリ別に区分されて既に格納されている複数の衣服イメージ(以下、データベースイメージ)のうち前記ドレスコード及び/又は衣服特性パラメータ値に対応して抽出された衣服イメージを意味する。
詳しくは、本発明の一実施形態においてフィッティングアプリケーション111は、1>前記ドレスコードに基づいて少なくとも1つの候補フィッティング衣服を検出することができる。
より詳しくは、フィッティングアプリケーション111は、前記ドレスコードが属する衣装カテゴリに分類されて既に格納されている複数の衣服イメージのうち少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出することができる。
例えば、フィッティングアプリケーション111は、前記ドレスコードが第1衣装カテゴリ(例えば、半袖Tシャツ)に属する場合、前記第1衣装カテゴリに分類及び格納されている複数の衣服イメージのうち少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出することができる。
従って、フィッティングアプリケーション111は、該当ビデオ会議において大多数の他の使用者が着用している衣服と同一種類に属する衣服イメージを前記候補フィッティング衣服に決定することができる。
他の本発明の一実施形態において、フィッティングアプリケーション111は、2>前記少なくとも1つの衣服特性パラメータ値に基づいて少なくとも1つの候補フィッティング衣服を検出することができる。
詳しくは、フィッティングアプリケーション111は、前記少なくとも1つの衣服特性パラメータ値に基づいた統合特性パラメータ値を取得することができる。
ここで、本発明の一実施形態による前記統合特性パラメータ値とは、前記少なくとも1つの衣服特性パラメータ値が示す少なくとも1つの衣服特性パラメータ別のデータ値のうち最も高い出現頻度数を有するデータ値(以下、最多出現データ値)を検出し、前記検出された衣服特性パラメータ別の最多出現データ値を取りまとめて生成された衣服特性パラメータ値を意味する。
例えば、フィッティングアプリケーション111は、所定の第1衣服特性パラメータ値の第1衣服特性パラメータ(例えば、色相)のデータ値は「黒」、第2衣服特性パラメータ(例えば、パターンの種類)のデータ値は「無地」、第3衣服特性パラメータ(例えば、ネックラインの種類)のデータ値は「ラウンド」、そして第4衣服特性パラメータ(例えば、スリーブの長さ)のデータ値は「10cm」であり、所定の第2衣服特性パラメータ値の前記第1衣服特性パラメータ(例えば、色相)のデータ値は「黒」、前記第2衣服特性パラメータ(例えば、パターンの種類)のデータ値は「無地」、前記第3衣服特性パラメータ(例えば、ネックラインの種類)のデータ値は「ラウンド」、そして前記第4衣服特性パラメータ(例えば、スリーブの長さ)のデータ値は「10cm」であり、所定の第3衣服特性パラメータ値の前記第1衣服特性パラメータ(例えば、色相)のデータ値は「白」、前記第2衣服特性パラメータ(例えば、パターンの種類)のデータ値は「チェック柄」、前記第3衣服特性パラメータ(例えば、ネックラインの種類)のデータ値は「ラウンド」、そして前記第4衣服特性パラメータ(例えば、スリーブの長さ)のデータ値は「10cm」であると、前記第1衣服特性パラメータ(例えば、色相)のデータ値は「黒」、前記第2衣服特性パラメータ(例えば、パターンの種類)のデータ値は「無地」、前記第3衣服特性パラメータ(例えば、、ネックラインの種類)のデータ値は「ラウンド」、そして前記第4衣服特性パラメータ(例えば、スリーブの長さ)のデータ値は「10cm」である統合特性パラメータ値を取得できる。
すなわち、フィッティングアプリケーション111は、前記少なくとも1つの衣服特性パラメータ値内において衣服特性パラメータ別に最も多い出現頻度数を有するデータ値に基づいて、前記少なくとも1つの衣服特性パラメータ値を代表する統合特性パラメータ値を生成することができる。
また、フィッティングアプリケーション111は、前記のように生成された統合特性パラメータ値と前記データベースイメージのそれぞれの衣服特性パラメータ値を比較することができる。
そして、前記比較により、フィッティングアプリケーション111は、前記統合特性パラメータ値と所定の一致率以上に対応する衣服特性パラメータ値を有するは少なくとも1つの衣服イメージを前記データベースのイメージから抽出して、前記候補フィッティング衣服に決定することができる。
従って、フィッティングアプリケーション111は、当該ビデオ会議において大多数の他の使用者が着用している衣服の色、パターンの種類、ネックライン(neckline)の種類及び/又はスリーブ(sleeve)の長さなどの特性にさらに細かく対応する衣服イメージを前記候補フィッティング衣服に決定することができる。
また、他の一実施形態において、フィッティングアプリケーション111は、3>前記ドレスコード及び前記少なくとも1つの衣服特性パラメータ値に基づいて少なくとも1つの候補フィッティング衣服を検出することができる。
詳しく、フィッティングアプリケーション111は、前記ドレスコードが属する衣装のカテゴリに分類されて既に格納されている複数の衣服イメージのうち、前記統合特性パラメータに対応する衣服特性パラメータ値を有するは少なくとも1つの衣服イメージを前記データベースイメージから抽出して前記候補フィッティング衣服に決定することができる。
すなわち、フィッティングアプリケーション111は、当該ビデオ会議において大多数の他の使用者が着用している衣服と同一の種類に属する衣服イメージのうち前記大多数の他の使用者が着用している衣服の色、パターンの種類、ネックライン(neckline)の種類及び/又はスリーブ(sleeve)の長さなどのような特性に細かく対応する衣服イメージを前記候補フィッティング衣服に決定することができ、これにより前記ビデオ会議に対するドレスコードをより正確かつ細密に満たす衣服イメージを前記候補フィッティング衣服に決定することができる。
また、本発明の一実施形態において、フィッティングアプリケーション111は、6)前記検出された少なくとも1つの候補フィッティング衣服に基づいて仮想フィッティング衣服を決定する(S211)。
ここで、換言すると、前記仮想フィッティング衣服とは、前述のメイン参加者映像10内の使用者に対して仮想試着させようとする所定の衣服イメージを意味する。
詳しく、本発明の一実施形態において、フィッティングアプリケーション111は、1>使用者入力に基づいて前記仮想フィッティング衣服を決定することができる。
より詳しく、フィッティングアプリケーション111は、前記検出された少なくとも1つの候補フィッティング衣服のうち1つを選択できる仮想フィッティング衣服選択インタフェースを提供することができる。
また、フィッティングアプリケーション111は、前記提供されたインタフェースに基づいた使用者入力に基づいて選択された候補フィッティング衣服(以下、使用者選択フィッティング衣服)を前記仮想フィッティング衣服に決定することができる。
ここで、本発明の一実施形態によって、フィッティングアプリケーション111は、前記使用者選択フィッティング衣服の衣服特性パラメータ値を変更できるパラメータ調整インタフェースを提供することができる。
詳しくは、フィッティングアプリケーション111は、前記使用者選択フィッティング衣服に対する色、パターン種類、ネックライン(neckline)種類及び/又はスリーブ(sleeve)長さパラメータ値を変更できる使用者インタフェースであるパラメータ調整インタフェースを提供することができる。
また、フィッティングアプリケーション111は、前記提供されたパラメータ調整インタフェースに基づいた使用者入力により前記使用者選択フィッティング衣服の服特性パラメータ値を変更することができる。
例えば、フィッティングアプリケーション111は、前記パラメータ調整インタフェースに基づいた使用者入力により前記使用者選択フィッティング衣服の色パラメータ値を「黒」から「赤」に、パターン種類パラメータ値を「無地」から「チェック柄」に、ネックラインパラメータ値を「ラウンド」から「V型」に、スリーブ長パラメータ値を「10cm」から「5cm」に変更することができる。
また、フィッティングアプリケーション111は、前記のように衣服特性パラメータ値が変更された使用者選択フィッティング衣服を前記仮想フィッティング衣服に決定することができる。
従って、フィッティングアプリケーション111は、該当ビデオ会議のドレスコードを満たしながらも使用者が希望する形態のカスタマイズ型仮想フィッティング衣服を提供することができる。
他の一実施形態において、フィッティングアプリケーション111は、2>前記統合特性パラメータ値に基づいて前記仮想フィッティング衣服を決定することができる。
詳しくは、フィッティングアプリケーション111は、前記統合特性パラメータ値と前記少なくとも1つの候補フィッティング衣服別の衣服特性パラメータ値との一致率を取得することができる。
また、フィッティングアプリケーション111は、前記取得された一致率が最も高い候補フィッティング衣服を前記仮想フィッティング衣服に決定することができる。
また他の一実施形態において、フィッティングアプリケーション111は、3>仮想試着演算量に基づいて前記仮想フィッティング衣服を決定することができる。
ここで、本発明の一実施形態による前記仮想試着演算量とは、後述の仮想試着プロセスを行う時、中央処理装置(CPU)及び/又はグラフィック処理装置(GPU)などに要求されるデータ処理量及び/又はデータ処理時間などを含む。
詳しくは、フィッティングアプリケーション111は、前記少なくとも1つの候補フィッティング衣服のうち最小の仮想試着演算量を有する候補フィッティング衣服を検出することができる。
本発明の一実施形態として、フィッティングアプリケーション111は、前記少なくとも1つの候補フィッティング衣服のそれぞれの衣服特性パラメータ値(本発明の一実施形態において、色、パターン種類、ネックライン(neckline)種類及び/又はスリーブ(sleeve)長さパラメータ値)に基づいて前記最小仮想試着演算量を有する候補フィッティング衣服を検出することができる。
例えば、フィッティングアプリケーション111は、前記仮想試着演算量を最小化するパターン種類(例えば、無地など)とスリーブ長(例えば、0cmなど)を有する候補フィッティング衣服を検出することができる。
他の一実施形態として、フィッティングアプリケーション111は、所定のシミュレータ(simulator)を利用した仮想試着シミュレーションを行って前記最小仮想試着演算量を有する候補フィッティング衣服を検出することもできる。
詳しくは、フィッティングアプリケーション111は、前記少なくとも1つの候補フィッティング衣服のそれぞれと前記メイン参加者映像10に基づいて所定の仮想試着シミュレーションを行う前記シミュレータと連動することができる。
また、フィッティングアプリケーション111は、前記連動されたシミュレータから前記候補フィッティング衣服のそれぞれに対して前記仮想試着シミュレーション時に要求される仮想試着演算量を取得することができる。
また、フィッティングアプリケーション111は、前記候補フィッティング衣服のそれぞれに対して取得された仮想試着演算量のうち最小仮想試着演算量を有する候補フィッティング衣服を前記仮想フィッティング衣服に決定することができる。
このように、フィッティングアプリケーション111は、前述の多様な方式のうち使用者のニーズ(needs)に合う所定の方式に応じて前記少なくとも1つの候補フィッティング衣服のうちいずれか1つを前記仮想フィッティング衣服に決定することができる。
再び図3を参照すると、前述のように仮想フィッティング衣服を決定したフィッティングアプリケーション111は、前記決定された仮想フィッティング衣服に基づいて仮想フィッティング映像を生成する(S105)。
ここで、本発明の一実施形態による前記仮想フィッティング映像とは、前述のメイン参加者映像10内の使用者に前記決定された仮想フィッティング衣服を仮想試着させた映像を意味する。
図9は、本発明の実施形態による仮想フィッティング映像を生成する方法を説明するための図の一例である。
詳しくは、図9を参照すると、本発明の一実施形態においてフィッティングアプリケーション111は、前記ビデオ会議に参加する使用者を撮影したメイン参加者映像10を取得することができる。
ここで、本発明の一実施形態としてフィッティングアプリケーション111は、前記メイン参加者映像10をフレーム(frame)単位でデコードして取得することができる。
ここで、前記デコードされた各フレームは所定の静止画イメージであって、例えば、1280×720サイズのRGBイメージであってもよい。
また、本発明の一実施形態において、フィッティングアプリケーション111は、前記のように取得されたメイン参加者映像10に基づいたヒューマンパーシング(Human Parsing)を行うことができる。
ここで、本発明の一実施形態によるフィッティングアプリケーション111は、公知のアルゴリズムなどに基づいて前記ヒューマンパーシングを行うことができ、本発明の一実施形態においては前記ヒューマンパーシングを行う方法及び/又はアルゴリズム自体を限定又は制限しない。
ここで、フィッティングアプリケーション111は、前記フレーム単位でデコードされたメイン参加者映像10内の少なくとも1つのフレームのそれぞれに対して前記ヒューマンパーシングを行うことができる。
また、本発明の一実施形態においてフィッティングアプリケーション111は、前記ヒューマンパーシングの結果に基づいて前記メイン参加者映像10内の使用者が占める領域及び/又は前記使用者が着用している衣服(本発明の一実施形態において、上着)領域を形成する複数のピクセルを抽出することができる。
また、本発明の一実施形態においてフィッティングアプリケーション111は、前記抽出された複数のピクセル及び前記仮想フィッティング衣服40に基づいて前記仮想フィッティング映像50を生成する仮想試着プロセスを行うことができる。
詳しく、本発明の一実施形態としてフィッティングアプリケーション111は、前記メイン参加者映像10内の使用者が占める領域及び/又は前記使用者が着用している衣服(本発明の一実施形態において、上着)領域を形成する複数のピクセルに基づいて、前記使用者に対するリアルタイムポーズ(pose)を分析したポーズデータを算出することができる。
ここで、本発明の一実施形態による前記ポーズデータとは、前記メイン参加者映像10の内の使用者の姿勢(例えば、正面を眺める姿勢または第1方向に向いた姿勢など)を特定できるデータを意味する。
本発明の一実施形態において、このようなポーズデータは、使用者の姿勢を示すことができるように予め定められた関節(joint)及び身体部位に対する位置情報を含んでもよい。しかしながら、本発明が必ずしもこれに限定されるものではなく、前記ポーズデータとして予め定められた複数のポーズのうち現在の使用者の姿勢に対応するポーズを示す識別番号が使われるなど、多様な方式で本発明を実現することも可能である。
より詳しくは、フィッティングアプリケーション111は、前記複数のピクセルに基づいて前記使用者の1つ以上の身体部位に対する身体座標情報を算出することができる。
ここで、本発明の一実施形態による前記身体座標情報とは、既に設定された特定身体部位(例えば、目、鼻、耳、首、肩、肘及び/又は手首など)別の位置を示すデータを意味する。
ここで、本発明の一実施形態によっては、フィッティングアプリケーション111は、前記身体座標情報の算出のためにニューラルネットワーク(neural network)回路などを使用することができ、他にも多様な方式を利用して本発明を実現することが可能である。
また、フィッティングアプリケーション111は、前記のように算出された身体座標情報に基づいて前記ポーズデータを取得することができる。
すなわち、フィッティングアプリケーション111は、前記算出された身体座標情報を利用して該当使用者の姿勢などを特定することができる。
また、本発明の一実施形態において、フィッティングアプリケーション111は、前記取得されたリアルタイムポーズデータに基づいて前記仮想フィッティング衣服40を該当使用者の姿勢にマッチングされるように変形することができる。
詳しくは、フィッティングアプリケーション111は、前記ポーズデータに対する少なくとも1つ以上の身体座標情報と前記仮想フィッティング衣服40に対する少なくとも1つ以上の衣類座標情報に基づいて前記使用者の姿勢に応じる形状を有するように前記仮想フィッティング衣服40を変形することができる。
ここで、本発明の一実施形態による前記衣類座標情報とは、所定の衣服イメージに対して既に設定された特定衣類部位(例えば、肩縫い線、カラーバンド、カラー、袖縫い及び/又は袖口など)別の位置を示すデータを意味することができる。
より詳しくは、フィッティングアプリケーション111は、前記身体座標情報の各構成要素(以下、身体座標構成要素)とこれに対応する衣類座標情報の各構成要素(以下、衣類座標構成要素)を相互対応するようにマッチングさせることができる。
ここで、フィッティングアプリケーション111は、前記身体座標構成要素の座標値に対応するように前記衣類座標構成要素の座標値を変更して前記身体座標構成要素と前記衣類座標構成要素を相互マッチングさせることができる。
これに基づいてフィッティングアプリケーション111は、前記使用者の姿勢に応じる形状を有するように前記仮想フィッティング衣服40の方向、傾き、曲がり、形状、色及び/又は長さなどを変形することができる。
例えば、フィッティングアプリケーション111は、第1使用者の左肩に対応する身体座標情報に第1仮想フィッティング衣服40の左肩線に対応する衣類座標情報をマッチングさせ、前記第1使用者の右肩に対応する身体座標情報に前記第1仮想フィッティング衣服40の右肩線に対応する衣類座標情報をマッチングさせることができ、この過程で、前記第1仮想フィッティング衣服の方向、傾き、形状、色及び/又は長さなどを変形することができる。
従って、フィッティングアプリケーション111は、前記使用者の姿勢に合わせてより正確かつ自然に前記仮想フィッティング衣服40を前記使用者に仮想試着させることができる。
また、本発明の一実施形態において、フィッティングアプリケーション111は、前記のように使用者の姿勢に合わせてリアルタイムで変形された仮想フィッティング衣服40を前記メイン参加者映像10内の使用者に仮想試着させることにより、前記仮想フィッティング映像50を生成することができる。
詳しくは、フィッティングアプリケーション111は、メイン参加者映像10内の使用者が着用している衣服(本発明の一実施形態において、上着)領域を形成する複数のピクセルに基づいて、前記使用者の姿勢に合わせてリアルタイムに変形される仮想フィッティング衣服40(以下、リアルタイム仮想フィッティング衣服40)を前記使用者に仮想試着させることができる。
本発明の一実施形態として、フィッティングアプリケーション111は、前記複数のピクセルに基づいて前記リアルタイム仮想フィッティング衣服40を出力することにより、前記リアルタイム仮想フィッティング衣服40を前記使用者に仮想試着させることができる。
従って、フィッティングアプリケーション111は、前記メイン参加者映像10内の使用者に前記決定された仮想フィッティング衣服40を仮想試着させた仮想フィッティング映像50を生成することができる。
また、本発明の一実施形態において、フィッティングアプリケーション111は、前記のように生成された仮想フィッティング映像50を提供する(S107)。
図10は、本発明の実施形態による仮想フィッティング映像50をビデオ会議インタフェース1に基づいて提供する様子の一例である。
詳しくは、図10を参照すると、本発明の一実施形態においてフィッティングアプリケーション111は、前記生成された仮想フィッティング映像50を前記ビデオ会議プログラムのビデオ会議インタフェース1を介して送出することにより、当該ビデオ会議に参加する少なくとも1人の使用者(すなわち、当該ビデオ会議に参加する少なくとも1人の使用者の端末100)に提供することができる。
このように、フィッティングアプリケーション111は、該当ビデオ会議に参加した大多数の他の使用者が着用した衣服のドレスコード及び/又は特性パラメータ値に対応する所定の衣服イメージを前記ビデオ会議に参加する使用者に仮想試着させる仮想フィッティング衣服40に決定し、決定された仮想フィッティング衣服40を仮想試着した状態の使用者を表示するメイン参加者映像10である仮想フィッティング映像50を生成して提供することにより、前記ビデオ会議の特性や雰囲気などに適した衣服を着用した姿の使用者撮影映像を前記ビデオ会議において他の使用者と共有することができる。
以上、本発明の一実施形態によるビデオ会議プログラムベースの仮想フィッティング方法及びそのシステムは、ビデオ会議に参加する少なくとも1人の他の使用者が着用した衣装に対応する仮想の衣服イメージを検出し、前記検出された仮想の衣服イメージを前記ビデオ会議に参加する使用者に仮想試着させて提供することにより、前記ビデオ会議の特性や雰囲気などに適したドレスコード(dress code)を満たす衣装を着用した姿の使用者撮影映像を前記ビデオ会議プログラムを介して提供可能である。
また、本発明の一実施形態によるビデオ会議プログラムベースの仮想フィッティング方法及びそのシステムは、ビデオ会議に参加した少なくとも1人の他の使用者の衣装に基づいて該当ビデオ会議に対するドレスコードを把握した後、これに対応する仮想の衣類を自動で使用者に仮想試着させて提供することにより、楽な服装に在宅勤務をする途中にビデオ会議のために衣服を着替えなければならない、又は参加するビデオ会議の特性や雰囲気などの適する多様な衣類を備えなければならないという不便さを抑制することができる。
また、本発明の一実施形態によるビデオ会議プログラムベースの仮想フィッティング方法及びそのシステムは、ビデオ会議に参加した少なくとも1人の他の使用者の着用の衣装に基づいて該当ビデオ会議のドレスコードを決定し、決定されたドレスコードを満たす仮想の衣装を使用者に仮想試着させて提供することにより、ビデオ会議に参加しようとする使用者が自分の衣装アティテュード(attitude)を決定するために消耗する時間や費用を節減可能であると共に、ビデオ会議プログラムの使用頻度を増やすことができる。
一方、以上で説明された本発明による一実施形態は、多様なコンピュータ構成要素により実行できるプログラム命令語の形態で実現されてコンピュータ読み取り可能な記録媒体に記録されることができる。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計及び構成されたものであってよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、磁気テープなどの磁気媒体、CD-ROM及びDVDなどの光記録媒体、フロプティカルディスク(floptical disk)などの磁気光媒体(magneto-optical medium)、及びROM、RAM、フラッシュメモリなどの、プログラム命令語を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作成されるような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行できる高級言語コードも含まれる。ハードウェア装置は、本発明による処理を行うために、1つ以上のソフトウェアモジュールに変更されることができ、その逆も同様である。

Claims (12)

  1. 端末の少なくとも1つのプロセッサにより実行されるフィッティングアプリケーションがビデオ会議プログラムベースの仮想フィッティングを実行する方法であって、
    前記ビデオ会議に参加した他の使用者を撮影した少なくとも1つの他の参加者映像を取得する段階、
    前記取得された他の参加者映像内の前記他の使用者が着用している衣服の形状を特定する衣服特性パラメータ値を取得する段階、
    前記取得された衣服特性パラメータ値に基づいて前記他の使用者が着用している衣服が分類される衣装カテゴリを決定する段階、
    前記決定された衣装カテゴリに基づいて前記ビデオ会議に対するドレスコード(dress code)を決定する段階、
    前記決定されたドレスコード及び前記衣服特性パラメータ値のうち少なくとも1つに基づいて少なくとも1つの候補フィッティング衣服を検出する段階、
    前記検出された候補フィッティング衣服に基づいて前記ビデオ会議に参加した使用者に仮想試着させようとする衣服イメージである仮想フィッティング衣服を決定する段階、
    前記決定された仮想フィッティング衣服を前記使用者を撮影したメイン参加者映像内の前記使用者に仮想試着させた仮想フィッティング映像を生成する段階、及び
    前記生成された仮想フィッティング映像を提供する段階を含み、
    前記仮想フィッティング衣服を決定する段階は、
    前記少なくとも1つの候補フィッティング衣服のうち、前記仮想試着を行う時のデータ処理量及びデータ処理時間のうち少なくとも1つを含む仮想試着演算量を最小に有する候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階を含む
    ビデオ会議プログラムベースの仮想フィッティング方法。
  2. 前記衣服特性パラメータ値は、
    所定の衣服の色、パターンの種類、ネックライン(neckline)の種類及びスリーブ(sleeve)の長さのうち少なくとも1つを含む衣服特性パラメータのそれぞれに対するデータ値を含む
    請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。
  3. 前記ドレスコード(dress code)を決定する段階は、
    少なくとも1つの衣装カテゴリ別の出現頻度数に基づいて前記ドレスコードを決定する段階を含む
    請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。
  4. 前記候補フィッティング衣服を検出する段階は、
    前記ドレスコードにマッチングされる衣装カテゴリに分類されて既に格納されている複数の衣服イメージのうち少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出する段階を含む
    請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。
  5. 前記候補フィッティング衣服を検出する段階は、
    前記少なくとも1つの衣服特性パラメータ値内の前記衣服特性パラメータ別の最多出現データ値を取りまとめた統合特性パラメータ値を生成する段階と、
    前記生成された統合特性パラメータ値をデータベースに既に格納されている複数の衣服イメージのそれぞれの衣服特性パラメータ値と比較する段階と、
    前記統合特性パラメータ値と所定の一致率を満たす衣服特性パラメータ値を有する少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出する段階を含む
    請求項2に記載のビデオ会議プログラムベースの仮想フィッティング方法。
  6. 前記候補フィッティング衣服を検出する段階は、
    前記ドレスコードにマッチングされる衣装カテゴリに分類されて既に格納されている複数の衣服イメージのうち前記統合特性パラメータ値と所定の一致率を満たす衣服特性パラメータ値を有する少なくとも1つの衣服イメージを前記候補フィッティング衣服として検出する段階を含む
    請求項5に記載のビデオ会議プログラムベースの仮想フィッティング方法。
  7. 前記仮想フィッティング衣服を決定する段階は、
    前記少なくとも1つの候補フィッティング衣服のうちいずれか1つを選択する使用者入力に基づいて前記仮想フィッティング衣服を決定する段階を含む
    請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。
  8. 前記仮想フィッティング衣服を決定する段階は、
    前記使用者入力に基づいて選択された候補フィッティング衣服の前記衣服特性パラメータ値を変更するパラメータ調整インタフェースを提供する段階と、
    前記提供されたパラメータ調整インタフェースに基づいた使用者入力に基づいて前記選択された候補フィッティング衣服の前記衣服特性パラメータ値を変更する段階と、
    前記衣服特性パラメータ値が変更された候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階をさらに含む
    請求項7に記載のビデオ会議プログラムベースの仮想フィッティング方法。
  9. 前記仮想フィッティング衣服を決定する段階は、
    前記少なくとも1つの候補フィッティング衣服のうち前記統合特性パラメータ値と最も高い一致率の衣服特性パラメータ値を有する候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階を含む
    請求項5に記載のビデオ会議プログラムベースの仮想フィッティング方法。
  10. 前記生成された仮想フィッティング映像を提供する段階は、
    前記仮想フィッティング映像を前記ビデオ会議プログラムを介して送出して前記ビデオ会議に参加した少なくとも1人の他の使用者及び前記使用者の端末に提供する段階を含む
    請求項1に記載のビデオ会議プログラムベースの仮想フィッティング方法。
  11. 仮想フィッティング映像を出力する少なくとも1つ以上のディスプレイ、
    少なくとも1つ以上のメモリ、及び
    少なくとも1つ以上のプロセッサを含み、
    前記メモリに格納され、前記プロセッサにより実行されてビデオ会議プログラムベースの仮想フィッティングを行う少なくとも1つのアプリケーションであって、前記少なくとも1つのアプリケーションは、
    前記ビデオ会議に参加した他の使用者を撮影した少なくとも1つの他の参加者映像を取得し、
    前記取得された他の参加者映像内の前記他の使用者が着用している衣服の形状を特定する衣服特性パラメータ値を取得し、
    前記取得した衣服特性パラメータ値に基づいて前記他の使用者が着用している衣服が分類される衣装カテゴリを決定し、
    前記決定された衣装カテゴリに基づいて前記ビデオ会議に対するドレスコード(dress code)を決定し、
    前記決定されたドレスコード及び前記衣服特性パラメータ値のうち少なくとも1つに基づいて少なくとも1つの候補フィッティング衣服を検出し、
    前記検出された候補フィッティング衣服に基づいて前記ビデオ会議に参加した使用者に仮想試着させようとする衣服イメージである仮想フィッティング衣服を決定し、
    前記決定された仮想フィッティング衣服を前記使用者を撮影したメイン参加者映像内の前記使用者に仮想試着させた前記仮想フィッティング映像を生成し、
    前記生成された仮想フィッティング映像を提供することを含み、
    前記仮想フィッティング衣服を決定する段階は、
    前記少なくとも1つの候補フィッティング衣服のうち、前記仮想試着を行う時のデータ処理量及びデータ処理時間のうち少なくとも1つを含む仮想試着演算量を最小に有する候補フィッティング衣服を前記仮想フィッティング衣服に決定する段階を含む
    ビデオ会議プログラムベースの仮想フィッティングシステム。
  12. 請求項1乃至請求項10のいずれかに記載の方法をコンピュータに実行させるためのプログラム。
JP2022186934A 2021-11-23 2022-11-22 ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム Active JP7443473B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210162203A KR102527398B1 (ko) 2021-11-23 2021-11-23 화상미팅 프로그램 기반의 가상 피팅 방법 및 그 시스템
KR10-2021-0162203 2021-11-23

Publications (2)

Publication Number Publication Date
JP2023076818A JP2023076818A (ja) 2023-06-02
JP7443473B2 true JP7443473B2 (ja) 2024-03-05

Family

ID=86143306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022186934A Active JP7443473B2 (ja) 2021-11-23 2022-11-22 ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム

Country Status (3)

Country Link
US (1) US20230164297A1 (ja)
JP (1) JP7443473B2 (ja)
KR (2) KR102527398B1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058001A (ja) 2000-08-09 2002-02-22 Digital Electronics Corp 通話装置の画像送信方法
JP2016502713A (ja) 2012-11-12 2016-01-28 シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザインSingapore University of Technologyand Design 衣類マッチングシステム及び方法
JP2016532197A (ja) 2013-08-04 2016-10-13 アイズマッチ エルティーディー.EyesMatch Ltd. 鏡における仮想化の装置、システム、及び方法
JP2017175544A (ja) 2016-03-25 2017-09-28 大和ハウス工業株式会社 対話システム及び対話システムの制御方法
JP2020107084A (ja) 2018-12-27 2020-07-09 日本電気株式会社 服装提案装置、服装提案方法、およびプログラム
US20210350441A1 (en) 2019-01-24 2021-11-11 Samsung Electronics Co., Ltd. Electronic device and method for operating same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201710840D0 (en) * 2017-07-05 2017-08-16 Jones Maria Francisca Virtual meeting participant response indication method and system
KR20200141251A (ko) * 2019-06-10 2020-12-18 오드컨셉 주식회사 사용자 맞춤형 패션 아이템 광고 방법 및 이를 실행하는 서버
KR20210083551A (ko) 2019-12-27 2021-07-07 주식회사 케이티 실시간 적응형 동영상 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058001A (ja) 2000-08-09 2002-02-22 Digital Electronics Corp 通話装置の画像送信方法
JP2016502713A (ja) 2012-11-12 2016-01-28 シンガポール・ユニバーシティ・オブ・テクノロジー・アンド・デザインSingapore University of Technologyand Design 衣類マッチングシステム及び方法
JP2016532197A (ja) 2013-08-04 2016-10-13 アイズマッチ エルティーディー.EyesMatch Ltd. 鏡における仮想化の装置、システム、及び方法
JP2017175544A (ja) 2016-03-25 2017-09-28 大和ハウス工業株式会社 対話システム及び対話システムの制御方法
JP2020107084A (ja) 2018-12-27 2020-07-09 日本電気株式会社 服装提案装置、服装提案方法、およびプログラム
US20210350441A1 (en) 2019-01-24 2021-11-11 Samsung Electronics Co., Ltd. Electronic device and method for operating same

Also Published As

Publication number Publication date
US20230164297A1 (en) 2023-05-25
JP2023076818A (ja) 2023-06-02
KR102527398B1 (ko) 2023-04-28
KR20230076122A (ko) 2023-05-31

Similar Documents

Publication Publication Date Title
US11670059B2 (en) Controlling interactive fashion based on body gestures
US20220327709A1 (en) Garment segmentation
US11836862B2 (en) External mesh with vertex attributes
US11908083B2 (en) Deforming custom mesh based on body mesh
US11663792B2 (en) Body fitted accessory with physics simulation
US11900506B2 (en) Controlling interactive fashion based on facial expressions
US20230154129A1 (en) Body normal network light and rendering control
US20240070766A1 (en) Personalized try-on ads
US20240096040A1 (en) Real-time upper-body garment exchange
US20230169739A1 (en) Light and rendering of garments
JP7443473B2 (ja) ビデオ会議プログラムベースの仮想フィッティング方法、そのシステム及びプログラム
US20230196602A1 (en) Real-time garment exchange
US20240161242A1 (en) Real-time try-on using body landmarks
WO2024107634A1 (en) Real-time try-on using body landmarks
KR20240090365A (ko) 정점 속성을 갖는 외부 메시

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240221

R150 Certificate of patent or registration of utility model

Ref document number: 7443473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350