JP6662876B2 - アバター選択機構 - Google Patents

アバター選択機構 Download PDF

Info

Publication number
JP6662876B2
JP6662876B2 JP2017529063A JP2017529063A JP6662876B2 JP 6662876 B2 JP6662876 B2 JP 6662876B2 JP 2017529063 A JP2017529063 A JP 2017529063A JP 2017529063 A JP2017529063 A JP 2017529063A JP 6662876 B2 JP6662876 B2 JP 6662876B2
Authority
JP
Japan
Prior art keywords
avatar
user
recipients
attributes
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017529063A
Other languages
English (en)
Other versions
JP2018505462A (ja
Inventor
ジャーン,リダン
トーン,シヤオフオン
ドゥ,ヤーンジョウ
リー,ウエンローン
シェン,シヤオルゥ
イー. モリス,マーガレット
イー. モリス,マーガレット
グレン ジェイ. アンダーソン
グレン ジェイ. アンダーソン
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2018505462A publication Critical patent/JP2018505462A/ja
Application granted granted Critical
Publication of JP6662876B2 publication Critical patent/JP6662876B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/58Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/79Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A63F13/795Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories for finding other players; for building a team; for providing a buddy list
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar

Description

本明細書で説明される実施形態は、一般に、コンピュータに関する。より具体的には、実施形態は、アバターを推薦及び選択するための機構に関する。
アバターは、電気通信アプリケーション、ユーザインタフェースアプリケーション、コンピュータゲーム等のような様々なシステム及びソフトウェアアプリケーションで周知であり、広く使用されている。アバターは、人間の顔、動物の顔、漫画の顔等のアニメーション化されたバージョンを指すことがある。アバターは、自分の実際の顔を露出しないことでプライバシを守りたいユーザによって使用されることが多い。
コンピュータビジョン及び処理能力の進歩により、顔の動作により駆動される(facial performance driven)アバターアニメーションは、ユーザがアバターに対する顔のアクションをモーフィングすることができるように、モバイルデバイス上で実現可能である。しかしながら、モバイルアプリケーションのためのアバターストアは、現在、ユーザの好みに合うように編成されていない。例えばアバターモバイルアプリケーションのユーザは、典型的に、アバターの同じリストを提供される。さらに、現在のアプリケーションは、特定のユーザの意図されたオーディエンスに響かない可能性があるアバターを特徴とする。特に、選択されたアバターが不注意で、文化的規範に起因して誰かの気分を害することや、無知で時代遅れ等であるような印象を与えることがある。
米国特許出願第13/977,682号明細書
実施形態は、限定ではなく例として図示されており、添付の図面の図内では、同様の参照番号が同様の要素を示す。
一実施形態に係るコンピューティングデバイスにおけるアバターシミュレーション機構を示す図である。 一実施形態に係るアバター選択機構を示す図である。 一実施形態に係るアバター決定機構を示す図である。 一実施形態に係るアバター決定機構の動作を示すフロー図である。 従来のアバター推薦アプリケーションのスナップショットである。 従来のアバター推薦アプリケーションのスナップショットである。 一実施形態に係るアバター推薦機構を示す図である。 アバター推薦機構の実装の実施形態を示す図である。 アバター推薦機構の実装の実施形態を示す図である。 アバター推薦機構の実装の実施形態を示す図である。 一実施形態に係るアバター推薦機構の動作を示すフロー図である。 一実施形態に係る本開示の実施形態の実装に適したコンピュータシステムを示す図である。
以下の説明では、様々な具体的な詳細が説明される。しかしながら、本明細書で説明される実施形態は、これらの具体的な詳細なしに実施されてもよい。他の場合には、周知の回路、構造及び技術は、この説明の理解を曖昧にしないようにするために詳細には図示されていない。
実施形態は、ユーザを効果的に表し、かつオーディエンスのカルチャー、年齢及び好みに一致するアバターの選択を提供する。そのような実施形態では、アバターの選択は、送信者のアバターの選択のために送信者及び/又は意図されるオーディエンスのプロファイル情報(例えば人口統計学的情報、テイスト、ソーシャルネットワーク)を考慮する。更なる実施形態では、アバターの選択は、コミュニケーションダイナミクス(communication dynamics)及び会話のトピックの分析によって更に最適化されてよい。そのような実施形態では、アバターの選択は、会話に関連する流行(popular trends)、並びにユーザの感情の状態及び人間関係力学(interpersonal dynamics)の分析に応じて適合される。また更なる実施形態では、アバターの見た目(appearance)は、遊び心のあるコミュニケーション(playful communication)の形として操作されてもよい。
実施形態は、顔駆動型アバター推薦(facial driven avatar recommendation)も提供する。そのような実施形態では、カメラ入力からユーザの好みを推論することにより、アバターの個人化された推薦リストが提供される。個人化された推薦リストは、アバターモデルと顔入力との間の類似性と、ユーザの属性の双方を学習することによって生成される。実施形態は、ユーザの顔のカメラ入力を実装して、顔の属性(例えば顔の形、性別、年齢、感情、顔の形、眼鏡、ヘアスタイル等)を分析する。これらの属性をユーザの周囲の環境のファクタとともに考慮し、利用可能なアバターのランク付けスコアを計算して、アバターモデルの推薦リストをユーザに提供する。更なる実施形態では、ファクタ又は属性に依存して変化を検出すると、リストを周期的に更新することができる。
簡潔性、明確性及び理解の容易性の目的のために、本明細書全体を通して人の顔が例として使用されるが、実施形態は、そのような形に限定されず、ユーザという用語は、1人の人、複数の人、他の生き物(例えば犬、猫、植物等)及び非生物の物体(例えば像(statues)テレビジョン、楽器等)も指すことがあることが認識されよう。さらに、例えば実施形態は、1人の人の顔に適用されるだけでなく、実施形態は、人のグループにも等しく適用可能であって整合性があり、その人々の顔だけに限定されず、彼らのペット及び/又は他の物体等とともに適用可能である。同様に、実施形態は、単一のコンピューティングデバイス又はスマートフォンのような特定のタイプのコンピューティングデバイスに限定されず、任意の数及びタイプのデバイスが使用されてもよく、例えば複数の又は拡張ディスプレイ、小さな画面、大きな画面、あるいはストアディスプレイやマジックミラーのような巨大な画面を伴う、任意の数及び形式の人、ペット、物体等を深度追跡(depth track)する能力を有するコンピューティングデバイス使用されてもよい。
図1は、一実施形態に係るコンピューティングデバイス100におけるアバター選択機構110を図示している。一実施形態において、コンピューティングデバイス100は、アバター選択機構(「アバター機構」)110をホストするホストマシンとして機能する。アバター選択機構110は、コンピューティングデバイス100のようなコンピューティングデバイスでアバターの動的な決定及び/又は推薦を容易にするための任意の数及びタイプのコンポーネントの組合せを含む。コンピューティングデバイス100は、サーバコンピュータ、デスクトップコンピュータ等のような大きなコンピューティングシステムを含んでよく、セットトップボックス(例えばインターネットベースのケーブルテレビジョン・セットトップボックス等)、全地球測位システム(GPS)ベースのデバイス等も更に含んでよい。コンピューティングデバイス100は、スマートフォン(例えばApple(登録商標)社によるiPhone(登録商標)、Research in Motion(登録商標)社によるBlackBerry(登録商標)等)を含むセルラフォン、パーソナルデジタルアシスタント(PDA)、タブレットコンピュータ(例えばApple(登録商標)社によるiPad(登録商標)、Samsung(登録商標)社によるGalaxy(登録商標)等)、ラップトップコンピュータ(例えばノートブック、ネットブック、ウルトラブック(登録商標)等)、eリーダ(例えばAmazon(登録商標)社によるKindle(登録商標)、Barnes and Nobles(登録商標)社によるNook(登録商標)等)のようなモバイルコンピューティングデバイスを含んでもよい。
コンピューティングデバイス100は、コンピュータデバイス100のハードウェア及び/又は物理リソースとユーザとの間のインタフェースとして機能するオペレーティングシステム(OS)106を含んでよい。コンピューティングデバイス100は更に、1つ以上のプロセッサ102、メモリデバイス104、ネットワークデバイス、ドライバ等、並びにタッチスクリーンやタッチパネル、タッチパッド、仮想又は通常のキーボード、仮想又は通常のマウス等のような入出力(I/O)リソース108を含む。「ノード」、「コンピューティングノード」、「サーバ」、「サーバデバイス」、「クラウドコンピュータ」、「クラウドサーバ」、「クラウドサーバコンピュータ」、「マシン」、「ホストマシン」、「デバイス」、「コンピューティングデバイス」、「コンピュータ」、「コンピューティングシステム」等のような用語は、本明細書全体を通して交換可能に使用されることがあることに留意されたい。また、「アプリケーション」、「ソフトウェアアプリケーション」、「プログラム」、「ソフトウェアプログラム」、「パッケージ」及び「ソフトウェアパッケージ」のような用語も本明細書全体を通して交換可能に使用されることがあることにも更に留意されたい。同様に、「ジョブ」、「入力」、「要求」及び「メッセージ」のような用語も本明細書全体を通して交換可能に使用されることがある。
図2は、一実施形態に係るアバター機構110を図示している。一実施形態において、アバター機構110は、ラップトップコンピュータ、デスクトップコンピュータ、スマートフォン、タブレットコンピュータ等のようなコンピューティングデバイス100で用いられてよい。一実施形態において、アバター機構110は、受信及びキャプチャロジック201、メッシュ及びマッピングモジュール205を含む検出/追跡ロジック203、アバター決定機構207、アバター推薦機構209及び通信/互換性ロジック219のような任意の数及びタイプのコンポーネントを含んでよい。
一実施形態において、受信及びキャプチャロジック201は、コンピューティングデバイス100の画像ソース225で実装される画像キャプチャデバイスが、ユーザの顔のライブ及びリアルタイム画像のようなユーザに関連付けられる画像を受け取ってキャプチャすることを容易にする。ユーザの顔のライブ画像を受け取ってキャプチャすると、ユーザの顔及びその動きと表情を、検出/追跡ロジック203により、連続的かつリアルタイムに、ライブビデオフレームで検出して追跡することができる。
検出/追跡ロジック203によって実行されるようなユーザの顔及びその動きと表情の検出及び追跡は、ユーザの顔を検出することと、顔の様々な特徴、例えば特徴点の位置を決定することを含んでよく、その後、そのような特徴点の位置を使用して、顔の表情の動きと頭部の硬い動き(rigid movements)を決定することができる。さらに、これらの特徴に基づいて、データベース240のようなモーションキャプチャデータベースにおいて類似する表情の特徴にアクセスし、そのような類似する表情の特徴をモーションキャプチャデータベースから取り出してもよい。更なる詳細については、特許文献1(Yangzhou Du等による「Avatar Facial Expression Techniques」という名称の2013年6月29日に提出した米国特許出願第13/977,682号明細書(2011年4月11日付けで出願した国際出願PCT/CN2011/072603号明細書の米国の国内段階))を参照されたい。
一部の実施形態では、データベース240を使用して、スマイル、しかめ面、笑う、泣く、怒る、幸せ、驚き、話す、沈黙、食べる、飲む、歌う、あくび、くしゃみ等といった様々な人間の顔の表情に関するデータを記録、格納及び保持することができる。これらの表情をフレームのシーケンスとして記録してよく、この場合、各フレームは次の9個の特徴:すなわち、1)上唇と下唇との間の距離;2)2つの口角の間の距離;3)上唇と鼻先との間の距離;4)下唇と鼻先との間の距離;5)鼻翼と鼻先との間の距離;6)上まぶたと下まぶたとの間の距離;7)眉毛の先(eyebrow tip)と鼻先との間の距離;8)2つの眉毛の先の間の距離;9)眉毛の先と眉毛の中間(eyebrow middle)との間の距離、のような複数の特徴を含んでよい。データベース240は、データソース、メモリ(揮発性又は不揮発性)、ディスクストレージ、光ストレージ等のような情報記憶媒体を含んでよい。
一実施形態において、データベース240から取得される特徴に基づいて、メッシュ及びマッピングモジュール205は、3次元(3D)メッシュを用いて様々な顔の点を配置(locate)し、これらの点を対応するアバターにマップする。これは、人間の顔を正規化してアバターの顔に再マッピングすること、顔の表情の変化をアバターにコピーすること、アバターを駆動して、取得した特徴と同じ顔の表情の変化を実行することを伴うことがある。実施形態において、メッシュ及びマッピングモジュール205は、アバターが、コンピューティングデバイス100に関連付けられるディスプレイデバイス230により出力されることを可能にするグラフィクスレンダリング特徴を含んでよい。例えばディスプレイ画面又はデバイス230は、アバターをユーザに対して視覚的に出力してよく、同様に、コンピューティングデバイス250のような1つ以上の他のコンピューティングデバイスに関連付けられるディスプレイデバイス255のような1つ以上のディスプレイデバイスが、同じシミュレートされたアバターをそのそれぞれのユーザに対して表示してもよい。さらに、ディスプレイデバイス230は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、プラズマディスプレイ及びブラウン管(CRT)ディスプレイを(限定ではないが)含め、様々なディスプレイで実装されてよい。
コンピューティングデバイス250は、ネットワーク270のような1つ以上のネットワーク(例えばクラウドネットワーク、インターネット、イントラネット、セルラネットワーク、近接又は近くの近接(near proximity)ネットワーク等)上でコンピューティングデバイス100と通信してよい。コンピューティングデバイス250は更に、ユーザインタフェース260、通信ロジック265及びアバター機構110を含む1つ以上のソフトウェアアプリケーションを含んでよい。
実施形態において、検出/追跡ロジック203は、画像ソース225から画像データを受け取ってよく、この場合、画像データは、画像又はフレーム(例えばビデオフレーム)のシーケンスの形であってよい。画像ソース225は、カメラのような画像キャプチャデバイスを含んでもよい。そのようなデバイスは、(限定されないが)光学アセンブリ、画像センサ、画像/ビデオエンコーダ等のような様々なコンポーネントを含んでよく、これらのコンポーネントは、ハードウェア及び/又はソフトウェアの任意の組合せで実装されてよい。光学アセンブリは、1つ以上の光学デバイス(例えばレンズ、ミラー等)を含んでよく、画像センサ内の複数のセンサ素子上の視野内に画像を投影する。加えて、光学アセンブリは、これらの光学デバイスの配置を制御する1つ以上の機構を含んでよい。例えばそのような機構は、フォーカス操作、絞り設定、露出設定、ズーム操作、シャッタースピード、有効焦点距離等を制御することができる。しかしながら、実施形態はこれらの例に限定されない。
アバターベースのシステム(例えばビデオチャットシステム)では、ユーザの頭部のジェスチャ並びにユーザの顔の表情をキャプチャすることが重要である。実施形態において、これらの操作は検出/追跡ロジック203によって実行されてよい。次いで、これらのジェスチャ及び表情がアニメーションパラメータとして表されてよく、この場合、そのようなアニメーションパラメータは、レンダリングのためにメッシュ及びマッピングモジュール205に転送される。このようにして、アバターシステムは、元のユーザの顔の表情を仮想3Dモデルで再現することができる。
一部の実施形態において、検出/追跡ロジック203の実際的な解決策は様々な特徴を提供することができる。例えば検出/追跡ロジック203は、頭部ジェスチャに起因する硬い動きを追跡することができる。そのような硬い動きは、(限定ではないが)並進、回転及びスケール調整ファクタを含んでよい。また、検出/追跡ロジック203は、顔の表情に起因する非剛性の並進(non-rigid transformations)を追跡することもでき、この場合、非剛性の並進は、複数の顔のアクションユニット(facial action units)(例えば6つの典型的なアクションユニット)を含んでよい。例えば検出/追跡ロジック203は、その実装において、1つ以上のプロセッサ(例えばIntel(登録商標)Atomの1.6GHzプロセッサ)上でリアルタイムに動作するように最適化されてよい。
画像ソース225は更に、センサ素子のアレイを含む1つ以上の画像センサを含んでよく、この場合、これらの素子は、CMOS(complementary metal oxide semiconductor)センサ、CCD(charge coupled devices)又は他の適切なセンサ素子タイプとすることができる。これらの素子は、センサに対する光入射に対応するアナログ強度信号(intensity signal)(例えば電圧)を生成することができる。加えて、画像センサは、アナログ強度信号をデジタル符号化された強度値に変換する、アナログデジタル変換器ADCも含んでよい。しかしながら、実施形態はこれらの例に限定されない。例えば画像センサは、光学アセンブリを通して受け取った光をピクセル値に変換し、この場合、これらのピクセル値の各々は、対応するセンサ素子における特定の光強度を表す。これらのピクセル値はデジタルとして説明されているが、これは代わりにアナログであってもよい。上述のように、画像感知デバイスは、ピクセル値を符号化及び/又は圧縮する画像/ビデオエンコーダを含んでもよい。様々な技術、規格及び/又はフォーマット(例えばMPEG(Moving Picture Experts Group)、JPEG(Joint Photographic Expert Group)等)をこの符号化及び/又は圧縮に用いてもよい。
上述のように、画像ソース225は、画像キャプチャデバイス(例えば1つ以上のカメラ等)、並びに(限定ではないが)コンテキスト認識センサ(例えば温度センサ、1つ以上のカメラとともに動作する顔の表情及び特徴測定センサ、(背景の色、光等を感知するような)環境センサ、(指紋、顔の点又は特徴等を検出するような)生体センサ等といった画像感知デバイスのような任意の数及びタイプのコンポーネントとすることができる。コンピューティングデバイス100は、変化する技術、パラメータ、プロトコル、規格等との互換性を保証しつつ、アバターを表示し、ユーザが他のコンピューティングデバイス250の他のユーザと通信するように1つ以上のユーザインタフェース(例えばウェブユーザインタフェース(WUI)、グラフィカルユーザインタフェース(GUI)、タッチスクリーン等)を提示する、ビジネスアプリケーション、ソーシャルネットワークウェブサイト(例えばFacebook(登録商標)、Google+(登録商標)、Twitter(登録商標)等)、ビジネスネットワーキングウェブサイト(例えばLinkedIn(登録商標)等)、通信アプリケーション(例えばSlype(登録商標)、Tango(登録商標)、Viber(登録商標)等)、ゲーム及び他のエンターテイメントアプリケーション等のような1つ以上のソフトウェアアプリケーションも含んでよい。
通信/互換性ロジック219を使用して、変化する技術、パラメータ、プロトコル、規格等との互換性を保証しつつ、コンピューティングデバイス100及びコンピューティングデバイス250のような様々なコンピューティングデバイス(モバイルコンピューティングデバイス、デスクトップコンピュータ、サーバコンピューティングデバイス等)、ストレージデバイス、データベース240のようなデータベース及び/又はデータソース、ネットワーク270のようなネットワーク(例えばクラウドネットワーク、インターネット、イントラネット、セルラネットワーク、あるいはBluetooth(登録商標)、Bluetooth低エネルギ(BLE)、Bluetooth Smart、Wi-Fi近接(proximity)、無線周波数識別(RFID)、近距離通信(NFC)、身体エリアネットワーク(BAN)等のような近接ネットワーク)、接続及び位置管理技術、ソフトウェアアプリケーション/ウェブサイト(例えばFacebook(登録商標)、LinkedIn(登録商標)、Google+(登録商標)、Twitter(登録商標)等のようなソーシャル及び/又はビジネスネットワーキングウェブサイト、ビジネスアプリケーション、ゲーム及び他のエンターテイメントアプリケーション等)、プログラミング言語等の間の動的な通信及び互換性を促進することができる。
アバター機構110の任意の数及びタイプのコンポーネント201−219は、必ずしも単一のコンピューティングデバイス上でなくてもよく(限定ではないが)サーバコンピューティングデバイス、カメラ、PDA、モバイルフォン(例えばスマートフォン、タブレットコンピュータ等)、パーソナルコンピュータ(例えばデスクトップデバイス、ラップトップコンピュータ等)、スマートテレビ、サーバ、ウェアラブルデバイス、メディアプレイヤ、任意のスマートコンピューティングデバイス等を有するコンピューティングデバイス100、250を含め、任意の数及びタイプのコンピューティングデバイスの間で割り当てられるか分散されてもよいことが考えられる。更なる例は、マイクロプロセッサ、グラフィクスプロセッサ又はエンジン、マイクロコントローラ、特定用途向け集積回路(ASIC)等を含む。しかしながら、実施形態はこれらの例に限定されない。
コンピューティングデバイス250の通信ロジック265は、コンピューティングデバイス100の通信/互換性ロジック219と同様又は同一であってよく、コンピューティングデバイス100におけるアバター機構110と、コンピューティングデバイス250における1つ以上のソフトウェアアプリケーションとの間の、ネットワーク270のような1つ以上のネットワーク上でのアバターの通信を促進するために使用されてよい。さらに、ロジック265、219は、無線又は有線通信及び関連するプロトコル(例えばWi-Fi(登録商標)、WiMAX、Ethernet(登録商標)等)のような通信技術のいずれか1つ以上を使用して、ネットワーク270のような1つ以上のネットワーク(例えばインターネット、イントラネット、クラウドネットワーク、近接ネットワーク(例えばBluetooth(登録商標)等)上の通信を促進するように配置又は構成されてよい。データベース240は、データ(例えば患者情報、カスタムパラメータ、処理プロトコル等)、ポリシー、リソース、ソフトウェアプログラム又は命令等の短期及び/又は長期の格納のための任意の数及びタイプのデバイス又は媒体(データストレージデバイス、ハードドライブ、半導体ドライブ、ハードディスク、メモリカード又はデバイス、メモリ回路等)を含んでよい。コンピューティングデバイス250の各々は、アバター及び顔の特徴点等の関連する情報を含むデータの格納、管理及び/又はキャッシュのためのメモリ及び/又は記憶媒体も含んでよい。
簡潔性、明確性及び理解の容易性のために、本明細書全体を通して1つ以上の例(例えば単一の人間の顔、モバイルコンピューティングデバイス等)が検討されるが、実施形態は、いずれの特定の数及びタイプのユーザ、アバター、リソース又はコンピューティングデバイスへのアクセスの形式、ユーザ、ネットワーク又認証プロトコル又はプロセス等にも限定されない。例えば実施形態は、いずれの特定のネットワークセキュリティ・インフラストラクチャ又はプロトコル(例えばシングルサインオン(SSO)インフラストラクチャ及びプロトコル)にも限定されず、SAML(security assertion markup language)、OAuth、Kerberos等のような任意の数及びタイプのネットワークセキュリティインフラストラクチャ又はプロトコルと互換性がある。
本明細書全体を通して、「ロジック」、「コンポーネント」、「モジュール」、「フレームワーク」、「エンジン」、「ポイント/点」等のような用語は交換可能に参照されてよく、例として、ソフトウェア、ハードウェア及び/又はファームウェアのようなソフトウェアとハードウェアの任意の組合せを含んでよい。さらに、特定のブランド、ワード、用語、フレーズ、名前及び/又は頭文字、例えば「アバター」や「アバタースケールファクタ」、「スケーリング」、「アニメーション」、「人間の顔、」「顔の特徴点」、「ズームイン」、「ズームアウト」等のいずれかの使用は、実施形態を、本明細書の外部の製品又は文献でそのラベルを持つソフトウェア又はデバイスに限定するように読まれるべきではない。
任意の数及びタイプのコンポーネントを、アバターシミュレーション機構110に追加し、かつ/又はこれから除去して、特定の特徴を追加、除去及び/又は強調することを含め、様々な実施形態を促進することができると考えられる。アバターシミュレーション機構110の簡潔性、明確性及び理解の容易性のために、コンピューティングデバイスの基本的な及び/又は公知のコンポーネントのように、基本的な及び/又は公知のコンポーネントの多くは、ここでは図示せず、議論されない。本明細書で説明される実施形態は、いずれかの特定の技術、トポロジ、システム、アーキテクチャ及び/又は規格に限定されず、いずれかの将来の変更に適応及び適合するよう十分に動的である。
一実施形態によると、検出/追跡ロジック203によって取得されるユーザの顔と動きのデータは、アバターを選択及び操作するためにアバター決定機構207によって使用されてよい。他の実施形態では、そのデータはアバター推薦機構209で受け取られてよく、アバター推薦機構209は複数のアバターのリストを推薦として提供する。
アバター選択
図3は、アバター決定機構207の一実施形態を図示している。アバター決定機構207は、ユーザを効果的に表し、かつオーディエンスのカルチャー、年齢及び好みと一致するアバターを選択する。一実施形態によると、アバター決定機構207は、アバターを選択するために、ユーザプロファイル情報及び意図されるオーディエンスのプロファイル情報(例えば人口統計学的情報、テイスト、ソーシャルネットワーク)を受け取って考慮する。一実施形態において、アバター決定機構207は、アバター決定モジュール300、プロファイル取得モジュール305、コンテキストエンジン306及びコンテンツ分析器308を含む。
一実施形態によると、アバター決定モジュール300は、検出/追跡ロジック203から受け取ったユーザの顔及び動き情報、プロファイル取得モジュール305から受け取った送信者及び受信者のプロファイル情報、コンテキストエンジン306から受け取ったコンテキスト情報及びコンテンツ分析器308から受け取った情報に基づいてアバターを選択する。一実施形態において、検出/追跡ロジック203は、センサアレイからのデータを使用して、送信者の顔の表情をモニタし、感情的な反応及び他の表情を推論する。加えて、送信者の声の特徴及び他の属性(attributes)をモニタして感情を推論してもよい。更なる実施形態では、アバター決定モジュール399は、受信者デバイス(例えばコンピューティングデバイス250)からセンサアレイデータを受け取り、アバターの選択に先立って受信者の感情的な反応を推論してもよい。
一実施形態において、プロファイル取得モジュール305は、送信者と、アバターを受け取るべき1人以上の受信者についてのプロファイル情報を取得する。そのような実施形態では、プロファイル取得モジュール305は、ソーシャルネットワークウェブサイト(例えばFacebook(登録商標)、Google+(登録商標)、Twitter(登録商標)等)、ビジネスネットワーキングウェブサイト(例えばLinkedIn(登録商標)等)、通信アプリケーション(例えばSlype(登録商標)、Tango(登録商標)、Viber(登録商標)等)及びサービスプロバイダ(例えばHulu(登録商標)、Netflix(登録商標)、Amazon(登録商標)等)のような1つ以上のネットワークソースから、ネットワーク230を介して情報を抽出してもよい。更なる実施形態において、アバターの選択は、送信者と1人以上の受信者によって共有されるソーシャルインフルエンス(social influences)によって決定されてもよい。例えばアバターは、送信者又は送信者の通信相手がTwitter(登録商標)上でフォローしている人々のアバターの選択に基づいて選択されてもよい。
コンテキストエンジン306は、ユーザ及び/又はメッセージ受信者の現在の状況に関連する情報を取得する。例えばコンテキストエンジン306は、ユーザ及び受信者について、受信者の社会的状況(例えば1人(alone))、現在の位置(例えば家又は職場)、ユーザのアクティビティ(例えばエクササイズをしている)を決定することができる。コンテンツ分析器308は、送信者と受信者との間のメッセージの内容を分析して、感情及び人間関係力学(例えば悲しみ(sadness)又は敵意(hostility))を決定することができる。
上述のように、アバター決定モジュール300は、アバターの選択における考慮のために、検出/追跡ロジック203、プロファイル取得モジュール305、コンテキストエンジン306及びコンテンツ分析器308からの情報を受け取る。一実施形態によると、アバター決定モジュール300は、プロファイル取得モジュール305から受け取った情報に基づいて送信者の意図を推論してもよい。例えば送信者の意図(例えば友達、気を引こうとすること(flirt)、職業的なネゴシエーション、結婚の申込み等)を、特定のアプリケーション内又は他のソーシャルメディア内における送信者と1人以上の受信者との間の関係(友達、Facebook(登録商標)上の友達の中の友達、Tinder(登録商標)で最近会った人、LinkedIn(登録商標)上の仲間、Twitter(登録商標)上のフォローワー)に基づいて推論することができる。
別の実施形態において、アバター決定モジュール300は、送信者のアバター選択と、受信者のテイストとの間の重複(overlap)をマップしてもよい。そのような実施形態では、コンテンツ分析器308は、アバター決定モジュール300への情報の提供に先立って、主要なトピックについてテキストを分析することができる。続いて、アバター決定モジュール300は、ソーシャルネットワークページに対してワードを照合(match)し、トピック的に関連するアバターを特定することができる(例えばワールドカップについて言及している人の場合、アバター決定モジュール300は有名なサッカー選手のアバターを選択することで応答してもよい)。一実施形態において、コンテンツ分析器308から受け取った分析データを使用して、ふざける(teasing)ため又はネゴシエーションのためにアバターを修正する際に通信相手を助けることができる。例えば受信者が、敵意のあるメモ(hostile note)又は非難(accusation)によって驚かされる場合、アバター決定モジュール300は、応答のために、よく知られた映画の不当に非難されているキャラクター(unjustly accused character)のアバターを選択してもよい。
一実施形態によると、アバター決定モジュール300は、コンテキストエンジン306から受け取ったコンテキスト分析を、アバター選択におけるファクタとして使用する。例えば送信者の社会的状況(例えば受信者が1人かどうか)は、アバターの見た目に影響を与えることがある。更なる実施形態では、アバター決定モジュール300は、重複が存在しない場合には文化的変換(cultural translation)を実施する。例えば米国では人を悪魔と呼ぶことは、その人がチャーミングな悪者(charming rascal)であることを意味するが、決定モジュール300は、受信者が、悪魔という言葉が攻撃的である可能性がある国の人の場合、別のオプションを選択することができる。別の例として、アバター決定モジュール300は、ブラジルのティーンエイジャーとの接続を試みている米国の中年ブロガーが、以前にミックジャガーをアバターとして選んでいたというシナリオでは、ブラジルで有名なDJのアバターを選択してもよい。
一実施形態によると、アバター決定モジュール300は、上述のファクタに基づいて、アバターをデータベース240から自動的に選択する。そのような実施形態では、データベース140は、Intel(登録商標)ポケットアバター(Pocket Avatars)によって提供されるキャラクターの3次元(3D)モデルを含む。
図4は、一実施形態に従って、コンピューティングデバイスにおいてアバター決定機構を促進するための方法400を示すフロー図である。方法400は処理ロジックによって実行されてよく、処理ロジックは、ハードウェア(例えば回路、専用のロジック、プログラム可能ロジック等)、ソフトウェア(処理デバイス上で実行される命令等)又はこれらの組合せを備えてよい。一実施形態において、方法400はアバター選択機構110によって実行されてよい。方法400のプロセスは、提示における簡潔性及び明確性のために線形のシーケンスで図示されているが、これらのうちの任意の数のプロセスを、並列に、非同期的に又は異なる順序で実行することができると考えられる。簡潔性、明確性及び理解の容易性のために、図1及び図2に関連して説明した詳細の多くはここでは議論せず、繰り返さない。
方法400は、ブロック410で開始して、アバター検出機構207において送信者及び受信者の属性を受け取る。上述のように、属性は、コンピューティングデバイスにおける1つ以上の画像センサによる、ユーザのビデオ画像(例えば送信者及び/又は受信者の顔)を含む、ライブでリアルタイムのオーディオ/ビデオデータを備えてよい。属性は、プロファイル取得モジュール305及びコンテキストエンジン306によって取得される情報も含んでよい。ブロック420において、受け取ったデータが、上述のように分析される。ブロック430において、送信者は、1人以上の受信者への送信のためにテキストベースのメッセージ(テキスト又は音声)を準備する。ブロック440において、アバター決定機構207は、属性に対してメッセージの内容を分析する。ブロック450において、分析に基づいてアバターが選択される。ブロック460において、(例えばメッシュ及びマッピングモジュール205で)アバターがレンダリングされる。ブロック470において、メッセージが受信者に利用可能にされる。ブロック480において、アバター決定機構207は、(例えば受信者のコンピューティングデバイスからのオーディオ/ビデオを介して)受信者の反応をモニタする。ブロック490において、受信者の反応に基づいて調整を行うべきかどうかに関する判断が行われる。調整を行うべきである場合、制御はブロック410に返され、受信者の反応を反映した更新済みの属性を受け取り、続いて分析する。
上記で示したように、アバター決定機構は、送信者及び意図されるオーディエンスのプロファイル情報(人口統計学的情報、テイスト、ソーシャルネットワーク)を一致させることにより、通信共鳴(communication resonance)を高めるアバターを選択する。この選択は、会話に関連する一般的な傾向、並びに各ユーザの感情状態及び人間関係力学の分析に応じて適合される。また、アバター決定機構は、遊びの通信(playful communication)の形として、別のアバターの見た目を操作する際にユーザをガイドする。
アバター推薦
上記で検討したように、既存のアバターアプリケーションは、ユーザの好みに合った適切なオプションを提供しない。図5A及び図5Bは、従来のアバター推薦アプリケーションのスナップショットを図示しており、この従来のアバター推薦アプリケーションでは、図5Aに図示されるユーザと図5Bに図示されるユーザに対して同じアバターリストが提供される。
一実施形態によると、アバター推薦モジュール209は、ユーザの好みをカメラ入力から直接推論することにより、顔駆動型アバターを提供して、ユーザに対して個人化されたアバターモデルのリストを可能にするよう実装される。そのような実施形態では、アバター推薦モジュール209は、ユーザの属性及びアバターモデルと顔入力との間の類似性を学習することにより個人化された推薦リストを生成する。
図6は、アバター推薦モジュール209の一実施形態を図示している。アバター推薦モジュール209は、ユーザ認識モジュール604及びアバターランクモジュール606を含む。ユーザ認識モジュール604は、ユーザの属性を認識するために、ユーザの抽出された顔特徴情報(例えば外見及び幾何学的特徴(appearance and geometry features))を検出/追跡ロジック203から受け取る。図7Aは、ユーザ認識モジュール604で受け取られる情報に含まれる、抽出された特徴の一実施形態を図示している。一実施形態において、外見特徴と幾何学的特徴の双方を使用して、各対象属性(target attribute)について個々の分類子をトレーニングする。そのような実施形態において、分類子のトレーニングを実行してモデルを得るために、マシン学習分類方法(例えばサポートベクトルマシン(SVM))が実装される。
一実施形態によると、モデルは、ユーザの最初の見た目(例えば見えない場合(unseen case))に適用され、その結果、出力は現在のユーザ属性となる。更なる実施形態において、シーンを決定、かつ/又はユーザのドレススタイルをチェックするために、顔のボックスの外側の外見特徴を抽出してもよい。この実施形態では、視覚的記述子(例えば勾配方向ヒストグラム(HOG:Histogram of oriented Gradients)が、顔の見た目及び環境について使用される。各ユーザは、14個の属性:すなわち、顔の形、見た目、性別、年齢、肌の色、髪の色、髪の長さ、眼鏡類、メイクの程度、感情、環境、照明及びドレススタイルに従って説明されてよい。図7Bは、ユーザ認識モジュール604によって実行されるユーザ属性分析の一実施形態を図示している。
アバターランクモジュール606は、ユーザ認識モジュール604から属性データを受け取り、属性類似スコア(attribute similarity scores)を統合することにより、データベース240において利用可能なアバターモデルをランク付けする。一実施形態において、現在のユーザについての全ての属性は、アバター像(avatar
figure)ごとにスコアを割り当てるように考えられる。そのような実施形態では、各アバター像は、全ての属性についての値を有する。続いて、ユーザとアバター像との間のマッチングを、個々の属性の関するマッチングとして分解することができる。一実施形態において、属性スコアは、下記によって表される:
Figure 0006662876


ここで、iは属性を示し、
Figure 0006662876

は、i番目の属性におけるユーザとアバター像との間のスコア差を示し、wiは、i番目の属性の重みパラメータを示す。
アバターモデルがユーザと類似する場合、出力スコアは小さい。一実施形態において、欠けている属性(missing attributes)は、対応するパラメータを0に設定することにより無視されてよい。例えば帽子がユーザの髪を塞いでいる場合、髪に関連する属性の重み付け(例えば色及び長さ)は0に設定されるべきである。
図8は、一実施形態に従って、コンピューティングデバイスにおいてアバター推薦機構を促進するための方法800を示すフロー図である。方法800は処理ロジックによって実行されてよく、処理ロジックは、ハードウェア(例えば回路、専用のロジック、プログラム可能ロジック等)、ソフトウェア(処理デバイス上で実行される命令等)又はこれらの組合せを備えてよい。一実施形態において、方法800はアバター選択機構110によって実行されてよい。方法800のプロセスは、提示における簡潔性及び明確性のために線形のシーケンスで図示されているが、これらのうちの任意の数のプロセスを、並列に、非同期的に又は異なる順序で実行することができると考えられる。簡潔性、明確性及び理解の容易性のために、図1及び図2に関連して説明した詳細の多くはここでは議論せず、繰り返さない。
方法800は、ブロック810で開始し、Intel(登録商標)Pocket Avatars、Nito(登録商標)、Mojo Masks(登録商標)等のアバターアプリケーションの動作中に画像ソース225からライブビデオをキャプチャする。ブロック820において、ビデオ内においてユーザの顔を見つける(locate)。一実施形態において、検出/追跡ロジック203は、ビデオ内の画像が顔を含むかどうか検出する。そのような実施形態では、各顔の位置は、1つの外接矩形(bounding rectangle)を用いて表される。顔の矩形に基づいて、異なる顔の特徴(例えば眉毛、目、鼻、口、髪等)が更に局所化されてよい。ブロック830において、検出された顔が抽出される。ブロック840において、上述のように、ユーザ認識モジュール604において、抽出されたものからユーザの属性が認識される。
ブロック850において、属性及び類似スコアを統合することによりアバターモデルがランク付けされる。ブロック860において、アバターモデルが類似スコアによりソートされる。ブロック870において、ソートされたスコアが、ディスプレイ230にリストとして表示される。一実施形態において、帯域幅を節約するために、各モデルの静的なスナップショットが、アニメーション化されたモデルの代わりに表示される。そのような実施形態では、ユーザは、スナップショットを選択し、モデルをロードしてモデルの動的なアクションを確認することができる。
アバター推薦モジュール209を実装する例示のアバターアプリケーションは、ユーザがモバイルデバイス上でアバターアプリケーションを操作して、アバターストアを開いてモデルを選択することを伴うことがある。続いて、推薦モジュール209が、異なるユーザ属性を認識し、統合されたスコアによってモデルをランク付けする。次いで、適合されたリストが画面上に表示される。図7Cは、推薦モジュール209によって提供されたアバターの表示リストの一実施形態を図示している。図7Cに示されるように、ユーザが現在笑っているので、表示リストのトップには、悲しそうなアバターが含まれていない。さらに、全て女性のアバターがトップ位置に来ており、男性のアバター像はより下の位置に移動されている。
図9は、一実施形態に従って、本開示の実施形態を実装するために適切なコンピュータシステム900を図示している。コンピュータシステム900は、バス905(あるいは例えばリンク、相互接続又は情報を通信するための別のタイプ通信デバイス又はインタフェース)と、バス905に結合されるプロセッサ910を含む。プロセッサ910は、情報を処理することができる。コンピューティングシステム900は単一のプロセッサとともに図示されているが、電子システム900は、中央プロセッサ、グラフィクスプロセッサ及び物理プロセッサ等のうちの1つ以上のように、複数のプロセッサ及び/又はコプロセッサを含んでもよい。コンピューティングシステム900は更に、バス905に結合され、かつプロセッサ910によって実行される情報及び命令を格納することができる、ランダムアクセスメモリ(RAM)又は他の動的なストレージデバイス920(メインメモリと呼ばれる)を含んでもよい。メインメモリ920は、プロセッサ910による命令の実行中に一時的な変数又は他の中間情報を格納するのに使用されてもよい。
コンピューティングシステム900は、バス905に結合され、かつプロセッサ910のための静的な情報及び命令を格納することができる、読取専用メモリ(ROM)930又は他のストレージデバイス940を含んでもよい。データストレージデバイス940は、バス905に結合されて、情報及び命令を格納することができる。磁気ディスク又は光ディスク及び対応するドライブ等のデータストレージデバイス940がコンピューティングシステム900に結合されてもよい。
コンピューティングシステム900は、情報をユーザに表示するよう、バス905を介して、ブラウン管(CRT)、液晶ディスプレイ(LCD)又は有機発光ダイオード(OLED)アレイのようなディスプレイデバイス950に結合されてもよい。英数字及び他のキーを含むユーザ入力デバイス960がバス905に結合されて、情報及びコマンドの選択をプロセッサ910に伝えることができる。別のタイプのユーザ入力デバイス960は、マウス、トラックボール、タッチスクリーン、タッチパッド又はカーソル方向キーのようなカーソル制御970であり、方向情報及びコマンド選択をプロセッサ910に伝え、ディスプレイ950上のカーソルの動きを制御する。コンピュータシステム900のカメラ及びマイクロフォンアレイ990をバス905に結合して、ジェスチャを観察し、オーディオ及びビデオを記録し、視覚及びオーディオコマンドを送受信してもよい。
コンピューティングシステム900は更にネットワークインタフェース980を含んでもよく、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、パーソナルエリアネットワーク(PAN)、Bluetooth(登録商標)、モバイルネットワーク(例えば第三世代(3G)等)、イントラネット、インターネット等のようなネットワークへのアクセスを提供する。ネットワークインタフェース980は、例えばアンテナ985を有する無線ネットワークインタフェースを含んでもよく、アンテナ985は、1つ以上のアンテナを表してよい。ネットワークインタフェース980は、例えば有線ネットワークインタフェースを含んでもよく、ネットワークケーブル987を介してリモートデバイスと通信することができる。ネットワークケーブル987は、例えばEthernet(登録商標)ケーブル、同軸ケーブル、光ファイバケーブル、シリアルケーブル又はパラレルケーブル等とすることができる。
ネットワークインタフェース980が、例えばIEEE 802.11b及び/又はIEEE 802.11g規格に従うことにより、LANへのアクセスを提供してもよく、かつ/又は無線ネットワークインタフェースが、例えばBluetooth(登録商標)規格に従うことにより、パーソナルエリアネットワークへのアクセスを提供してもよい。これらの規格の以前及び後続のバージョンを含め、他の無線ネットワークインタフェース及び/又はプロトコルもサポートされ得る。
無線LAN規格を介した通信に加えて又はこれに代えて、ネットワークインタフェース980は、例えば時間分割多重アクセス(TDMA)プロトコル、GSM(登録商標)(Global Systems for Mobile Communications)プロトコル、符号分割多重アクセス(CDMA)プロトコル及び/又は任意の他のタイプの無線通信プロトコルを使用して無線通信を提供してもよい。
ネットワークインタフェース980は、例えばLANやWANをサポートするよう通信リンクを提供する目的のためのモデム、ネットワークインタフェースカード、あるいはEthernet(登録商標)との結合に使用されるインタフェースデバイスやトークンリング、他のタイプの物理的な有線又は無線のアタッチメントのような他の周知のインタフェースデバイス等の1つ以上の通信インタフェースを含んでもよい。このようにして、コンピュータシステムを、例えばイントラネット又はインターネットを含む従来的なネットワークインフラストラクチャを介して、複数の周辺デバイス、クライアント、コントロール面、コンソール又はサーバに結合することができる。
上述の例よりも少ない又は多くのものを備えたシステムが、特定の実装にとって好ましいことがあることが認識されよう。したがって、コンピューティングシステム900の構成は、価格制約、性能要件、技術的向上又は他の状況等のような様々なファクタに依存して、実装ごとに異なっていてよい。電子デバイス又はコンピュータシステム900の例は、限定ではないが、モバイルデバイス、パーソナルデジタルアシスタント、モバイルコンピューティングデバイス、スマートフォン、携帯電話、ハンドセット、一方向ページャ、双方向ページャ、メッセージングデバイス、コンピュータ、パーソナルコンピュータ(PC)、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ハンドヘルドコンピュータ、タブレットコンピュータ、サーバ、サーバアレイ又はサーバファーム、ウェブサーバ、ネットワークサーバ、インターネットサーバ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、スーパーコンピュータ、ネットワークアプライアンス、ウェブアプライアンス、分散コンピューティングシステム、マルチプロセッサシステム、プロセッサベースのシステム、家庭用電子機器、プログラム可能家庭用電子機器、テレビジョン、デジタルテレビジョン、セットトップボックス、無線アクセスポイント、基地局、加入者局、モバイル加入者センタ、無線ネットワークコントローラ、ルータ、ハブ、ゲートアレイ、ブリッジ、スイッチ、マシン又はこれらの組合せを含んでよい。
実施形態は、ペアレントボードを使用して相互接続される1つ以上のマイクロチップ又は集積回路、ハードワイヤードロジック、メモリデバイスによって格納され、かつマイクロプロセッサによって実行されるソフトウェア、ファームウェア、特定用途向け集積回路(ASIC)及び/又はフィールドプログラマブルゲートアレイ(FPGA)のうちのいずれか又は組合せとして実装されてよい。「ロジック」という用語は、限定ではなく例として、ソフトウェア又はハードウェア、及び/又はソフトウェアとハードウェアの組合せを含んでよい。
実施形態は、例えばコンピュータ、コンピュータのネットワーク又は他の電子デバイスのような1つ以上のマシンによって実行されると、該1つ以上のマシンに、本明細書で説明される実施形態に係る動作を実行させることになるマシン実行可能な命令を格納している、1つ以上のマシン読取可能媒体を含み得るコンピュータプログラム製品として提供されてもよい。マシン読取可能な媒体は、これらに限定されないが、フロッピーディスケット、光ディスク、CD-ROM(コンパクトディスク読取専用メモリ)、磁気光ディスク、ROM、RAM、EPROM(消去可能プログラマブル読取専用メモリ)、EEPROM(電子的消去可能プログラマブル読取専用メモリ)、磁気又は光カード、フラッシュメモリ、あるいはマシン実行可能なメモリを格納するのに適した他のタイプの媒体/マシン読取可能媒体を含んでよい。
さらに、実施形態は、コンピュータプログラム製品としてダウンロードされてもよく、この場合、プログラムは、通信リンク(又はモデム及び/又はネットワーク接続)を介して、搬送波又は他の伝搬媒体に具現化され、かつ/又はこれらによって変調される1つ以上のデータ信号により、リモートコンピュータ(例えばサーバ)から要求側コンピュータ(例えばクライアント)へ転送されてもよい。
「一実施形態」、「実施形態」、「例示の実施形態」、「様々な実施形態」等への言及は、そのように説明される実施形態が、特定の特徴、構造又は属性を含むことがあるが、必ずしも全ての実施形態が、その特定の特徴、構造又は属性を含むわけではないことを示す。さらに、一部の実施形態は、他の実施形態について説明される特徴の一部又は全てを有するか、全く有しないこともある。
以下の説明及び特許請求の範囲において、「結合される」という用語がその派生語とともに使用されることがある。「結合される」は、2つ以上の要素が相互に協働(co-operate)又は相互作用するが、これらの間に介在する物理的又電気的媒体を有していても有していなくてもよいことを示すよう使用される。
特許請求の範囲で使用されるとき、特段の定めがない限り、共通の要素を説明するための「第1」、「第2」、「第3」等の順序を示す形容詞の使用は、単に同様の要素の異なるインスタンスを指していることを示し、そのように説明される要素が、時間的に、空間的に、ランク的に、あるいは任意の他のやり方により、所与の配列でなければならないことを暗示するようには意図されていない。
以下の節及び/又は例は、更なる実施形態又は例に関する。これらの例内の詳細は、1つ以上の実施形態のいずれかの箇所で使用されてよい。異なる実施形態又は例の様々な特徴は様々に組み合わされてよく、様々な異なる応用に適応するよう一部の特徴が包含され、他の特徴が除外されてよい。例は、本明細書で説明される実施形態及び実施例に従ってハイブリッド通信を促進するための方法、その方法の動作を実行するための手段、マシンによって実行されると、該マシンに方法の動作を実行させる命令を含む少なくとも1つのマシン読取可能媒体、あるいは装置又はシステム等の主題を含んでよい。
一部の実施形態は、アバターの動的な選択を容易にする装置を含む例1に関する。当該装置は、ユーザの画像をリアルタイムでキャプチャする受信及びキャプチャロジックと、ユーザの画像に基づいて、ユーザの顔の特徴を決定する検出/追跡ロジックと、ユーザの顔の特徴に基づいて、アバターの選択を容易にするアバター選択モジュールとを具備する。
例2は、例1に係る主題を含み、アバター選択モジュールが、ユーザ及び1人以上の受信者についてプロファイル情報を取得するプロファイル取得モジュールと、ユーザ及び1人以上の受信者の現在の状況に関連する情報を取得するコンテキストエンジンと、ユーザと1人以上の受信者との間のメッセージの内容を分析して感情及び人間関係力学を決定するコンテンツ分析器と、プロファイル情報、コンテキストエンジンによって取得された情報、並びにコンテンツ分析器によって決定された前記感情及び人間関係力学に基づいて、アバターを選択するアバター決定モジュールとを備える。
例3は、例2に係る主題を含み、プロファイル取得モジュールが、1つ以上のソーシャルネットワークソースから情報を抽出する。
例4は、例3に係る主題を含み、アバター決定モジュールが、アバターを選択する際のファクタとして、1つ以上のソーシャルネットワークソースからの情報に基づいてユーザの意図を推論する。
例5は、例4に係る主題を含み、アバター決定モジュールが、送信者と1人以上の受信者によって共有されるソーシャルインフルエンスに基づいてアバターを選択する。
例6は、例2に係る主題を含み、アバター決定モジュールが、コンテンツ分析器からのテキスト内のワードをソーシャルネットワークソースに対して照合し、トピック的に関連するアバターを選択する。
例7は、例2に係る主題を含み、アバター決定モジュールが、受信者の社会的状況に基づいてアバターを選択する。
例8は、例2に係る主題を含み、アバター決定モジュールが、1人以上の受信者から画像データ又はテキストデータを受け取り、1人以上の受信者の認識された感情的な反応に基づいてアバターを選択する。
例9は、例1に係る主題を含み、アバター選択モジュールが、ユーザの顔の特徴に基づいてユーザ属性を認識するユーザ認識モジュールと、ユーザ属性データを受け取り、属性類似スコアに基づいて利用可能なアバターモデルをランク付けするランキングモジュールと、ランク付けされた利用可能なアバターモデルに基づいてアバターを推薦するアバター推薦モジュールとを備える。
例10は、例9に係る主題を含み、ユーザについての全ての属性が、属性類似スコアを各利用可能なアバターモデルに割り当てるように見なされる。
例11は、例9に係る主題を含み、アバター推薦モジュールは、表示のためにランク付けされた利用可能なアバターモデルのリストを生成する。
一部の実施形態は、アバターの動的な選択を容易にする方法を含む例12に関し、当該方法は、属性を取得するステップと、属性を分析するステップと、ユーザの属性に基づいてアバターの選択を容易にするステップとを具備する。
例13は、例12に係る主題を含み、属性は、ユーザ及び1人以上の受信者についてのプロファイル情報、ユーザ及び1人以上の受信者の現在の状況に関連する情報、ユーザの顔の属性、のうちの少なくとも1つを含む。
例14は、例13に係る主題を含み、ユーザと1人以上の受信者との間のメッセージの内容を分析して、感情及び人間関係力学を決定するステップと、属性及びメッセージの内容に基づいてアバターを選択するステップとを更に備える。
例15は、例14に係る主題を含み、1人以上の受信者の顔の属性をモニタリングするステップと、1人以上の受信者からテキストデータを受け取るステップと、顔の属性及び1人以上の受信者からのテキストデータに基づいて、更新されたアバターを選択するステップとを更に備える。
例16は、例12に係る主題を含み、ユーザの属性を分析するステップは、ユーザの顔の属性を認識することを備える。
例17は、例16に係る主題を含み、属性類似スコアを各利用可能なアバターモデルに割り当てるステップと、属性類似スコアに基づいて利用可能なアバターモデルをランク付けするステップと、ランク付けされたアバターモデルに基づいてアバターを推薦するステップとを更に備える。
例18は、例17に係る主題を含み、ユーザについての全ての属性は、属性類似スコアを各利用可能なアバターモデルに割り当てるように見なされる。
例19は、例17に係る主題を含み、表示のためにランク付けされた利用可能なアバターモデルのリストを生成するステップを更に備える。
一部の実施形態は、コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに例12乃至例19のいずれか1つに係る動作を実行させる複数の命令を備える、少なくとも1つのマシン読取可能媒体を含む例20に関する。
一部の実施形態は、例12乃至例19のいずれか1つに係る動作を実行する機構を備えるシステムを含む例21に関する。
一部の実施形態は、例12乃至例19のいずれか1つに係る動作を実行する手段を備える装置を含む例22に関する。
一部の実施形態は、例12乃至例19のいずれか1つに係る動作を実行するよう構成されるコンピューティングデバイスを含む例23に関する。
一部の実施形態は、例12乃至例19のいずれか1つに係る動作を実行するよう構成される通信デバイスを含む例24に関する。
一部の実施形態は、アバターの動的な選択を容易にする装置を含む例25に関し、当該装置は、属性を取得するための手段と、属性を分析するための手段と、ユーザの属性に基づいてアバターの選択を容易にするための手段とを具備する。
例26は、例25に係る主題を含み、属性は、ユーザ及び1人以上の受信者についてのプロファイル情報、ユーザ及び1人以上の受信者の現在の状況に関連する情報、ユーザの顔の属性、のうちの少なくとも1つを含む。
例27は、例26に係る主題を含み、ユーザと1人以上の受信者との間のメッセージの内容を分析して、感情及び人間関係力学を決定するための手段と、属性及びメッセージの内容に基づいてアバターを選択するための手段とを更に備える。
例28は、例27に係る主題を含み、1人以上の受信者の顔の属性をモニタリングするための手段と、1人以上の受信者からテキストデータを受け取るための手段と、顔の属性及び1人以上の受信者からのテキストデータに基づいて、更新されたアバターを選択するための手段とを更に備える。
例29は、例25に係る主題を含み、ユーザの属性を分析するための手段は、ユーザの顔の属性を認識するための手段を備える。
一部の実施形態は、コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに、属性を取得する動作と、属性を分析する動作と、ユーザの属性に基づいてアバターの選択を容易にする動作とを具備する動作を実行させる複数の命令を備える、少なくとも1つのマシン読取可能媒体を含む例30に関する。
例31は、例30に係る主題を含み、属性は、ユーザ及び1人以上の受信者についてのプロファイル情報、ユーザ及び1人以上の受信者の現在の状況に関連する情報、ユーザの顔の属性、のうちの少なくとも1つを含む。
例32は、例31に係る主題を含み、コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに、ユーザと1人以上の受信者との間のメッセージの内容を分析して、感情及び人間関係力学を決定する動作と、属性及びメッセージの内容に基づいてアバターを選択する動作とを更に実行させる複数の命令を備える。
例33は、例32に係る主題を含み、コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに、1人以上の受信者の顔の属性をモニタリングする動作と、1人以上の受信者からテキストデータを受け取る動作と、顔の属性及び1人以上の受信者からのテキストデータに基づいて、更新されたアバターを選択するための動作とを更に実行させる複数の命令を備える。
例34は、例30に係る主題を含み、ユーザの属性を分析する動作は、ユーザの顔の属性を認識することを備える。
例35は、例34に係る主題を含み、コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに、属性類似スコアを各利用可能なアバターモデルに割り当てる動作と、属性類似スコアに基づいて利用可能なアバターモデルをランク付けする動作と、ランク付けされたアバターモデルに基づいてアバターを推薦する動作とを更に実行させる複数の命令を備える。
図面及び上記の説明は例示の実施形態を与える。当業者には、説明される要素の1つ以上を単一の機能要素に良好に組み合わせることができることが認識されよう。あるいは、特定の要素を複数の機能要素に分けてもよい。1つ以上の実施形態からの要素を別の実施形態に追加してもよい。例えば本明細書で説明される処理の順序を変更してもよく、本明細書で説明されるやり方に限定されない。さらに、いずれかのフロー図のアクションは、図示される順序で実装されなくてよく;必ずしも全ての動作を実行する必要もない。また、他の動作に依存しないこれらの動作を、他の動作と並列に実行してもよい。実施形態の範囲は、これらの特定の例によって限定されない。明細書内に明示的に与えられているか否かに関わらず、構造、寸法及び材料の使用において異なる様々な変形が可能である。実施形態の範囲は、少なくとも、以下の特許請求の範囲によって与えられるものと同等に広い。

Claims (24)

  1. アバターの動的な選択を容易にする装置であって:
    ユーザの画像をリアルタイムでキャプチャする受信及びキャプチャロジックと;
    前記ユーザの前記画像に基づいて、前記ユーザの顔の特徴を決定する検出/追跡ロジックと;
    前記ユーザの前記顔の特徴及び通信の1人以上の受信者についての情報に基づいて、アバターを選択するアバター選択モジュールと;
    を具備し、
    前記アバター選択モジュールは、
    前記ユーザと前記1人以上の受信者との間のメッセージの内容を分析して感情及び人間関係力学を決定するコンテンツ分析器と;
    前記メッセージの内容の分析から決定された前記感情及び人間関係力学に基づいて、アバターを選択するアバター決定モジュールと;
    を備える、装置。
  2. 前記アバター選択モジュールは:
    前記ユーザ及び前記1人以上の受信者についてプロファイル情報を取得するプロファイル取得モジュールと;
    前記ユーザ及び前記1人以上の受信者の現在の状況に関連する情報を取得するコンテキストエンジンと;
    更に備える、請求項1に記載の装置。
  3. 前記プロファイル取得モジュールは、1つ以上のソーシャルネットワークソースから情報を抽出する、
    請求項2に記載の装置。
  4. 前記アバター決定モジュールは、前記アバターを選択する際のファクタとして、1つ以上のソーシャルネットワークソースからの前記情報に基づいて前記ユーザの意図を推論する、
    請求項3に記載の装置。
  5. 前記アバター決定モジュールは、送信者と前記1人以上の受信者によって共有されるソーシャルインフルエンスに基づいて前記アバターを選択する、
    請求項3に記載の装置。
  6. 前記アバター決定モジュールは、前記コンテンツ分析器からのテキスト内のワードをソーシャルネットワークソースに対して照合し、トピック的に関連するアバターを選択する、
    請求項2に記載の装置。
  7. 前記アバター決定モジュールは、受信者の社会的状況に基づいて前記アバターを選択する、
    請求項に記載の装置。
  8. 前記アバター決定モジュールは、前記1人以上の受信者から画像データ又はテキストデータを受け取り、前記1人以上の受信者の認識された感情的な反応に基づいて前記アバターを選択する、
    請求項に記載の装置。
  9. 前記アバター選択モジュールは:
    前記ユーザの前記顔の特徴に基づいてユーザ属性を認識するユーザ認識モジュールと;
    ユーザ属性データを受け取り、属性類似スコアに基づいて利用可能なアバターモデルをランク付けするランキングモジュールと;
    前記ランク付けされた利用可能なアバターモデルに基づいてアバターを推薦するアバター推薦モジュールと;
    を備える、請求項1に記載の装置。
  10. 前記ユーザについての全ての属性は、属性類似スコアを各利用可能なアバターモデルに割り当てるように見なされる、
    請求項9に記載の装置。
  11. 前記アバター推薦モジュールは、表示のために前記ランク付けされた利用可能なアバターモデルのリストを生成する、
    請求項9に記載の装置。
  12. アバターの動的な選択を容易にする方法であって:
    ユーザの画像を含むユーザ属性を取得するステップと;
    前記ユーザ属性を分析して、前記ユーザの顔の特徴を決定するステップと;
    前記ユーザと通信の1人以上の受信者との間のメッセージの内容を分析して、感情及び人間関係力学を決定するステップと;
    前記ユーザの顔の特徴及び前記1人以上の受信者についての情報に基づいて、アバターを選択するステップであって、該アバターを選択するステップは、前記メッセージの内容の分析から決定された前記感情及び人間関係力学に基づいてアバターを選択することを含む、ステップと;
    を具備する方法。
  13. 前記ユーザ属性は、前記ユーザ及び前記1人以上の受信者についてのプロファイル情報、前記ユーザ及び前記1人以上の受信者の現在の状況に関連する情報、前記ユーザの顔の属性、のうちの少なくとも1つを含む、
    請求項12に記載の方法。
  14. 前記1人以上の受信者の顔の属性をモニタリングするステップと;
    前記1人以上の受信者からテキストデータを受け取るステップと;
    前記1人以上の受信者の前記顔の属性及び前記1人以上の受信者からのテキストデータに基づいて、更新されたアバターを選択するステップと;
    を更に備える、請求項12に記載の方法。
  15. 前記ユーザ属性を分析するステップは、前記ユーザの顔の属性を認識することを備える、
    請求項12に記載の方法。
  16. 属性類似スコアを各利用可能なアバターモデルに割り当てるステップと;
    属性類似スコアに基づいて前記利用可能なアバターモデルをランク付けするステップと;
    前記ランク付けされたアバターモデルに基づいてアバターを推薦するステップと;
    を更に備える、請求項15に記載の方法。
  17. 前記ユーザについての全ての属性は、属性類似スコアを各利用可能なアバターモデルに割り当てるように見なされる、
    請求項16に記載の方法。
  18. 表示のために前記ランク付けされた利用可能なアバターモデルのリストを生成するステップ、
    を更に備える、請求項16に記載の方法。
  19. コンピューティングデバイス上で実行されたことに応答して、該コンピューティングデバイスに請求項12乃至18のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
  20. 請求項12乃至18のいずれか一項に記載の方法を実行する機構を備えるシステム。
  21. 請求項12乃至18のいずれか一項に記載の方法を実行する手段を備える装置。
  22. 請求項12乃至18のいずれか一項に記載の方法を実行するよう構成されるコンピューティングデバイス。
  23. 請求項12乃至18のいずれか一項に記載の方法を実行するよう構成される通信デバイス。
  24. 請求項19に記載のコンピュータプログラムを格納する少なくとも1つのマシン読取可能な媒体。
JP2017529063A 2014-12-11 2014-12-11 アバター選択機構 Active JP6662876B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/093596 WO2016090605A1 (en) 2014-12-11 2014-12-11 Avatar selection mechanism

Publications (2)

Publication Number Publication Date
JP2018505462A JP2018505462A (ja) 2018-02-22
JP6662876B2 true JP6662876B2 (ja) 2020-03-11

Family

ID=56106474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017529063A Active JP6662876B2 (ja) 2014-12-11 2014-12-11 アバター選択機構

Country Status (6)

Country Link
US (1) US20160361653A1 (ja)
EP (1) EP3238176B1 (ja)
JP (1) JP6662876B2 (ja)
KR (1) KR102374446B1 (ja)
CN (1) CN107077750A (ja)
WO (1) WO2016090605A1 (ja)

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
US9930310B2 (en) 2009-09-09 2018-03-27 Apple Inc. Audio alteration techniques
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US9928874B2 (en) 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
US20160300100A1 (en) * 2014-11-10 2016-10-13 Intel Corporation Image capturing apparatus and method
EP3089053A4 (en) * 2015-01-30 2017-10-11 Ubic, Inc. Data evaluation system, data evaluation method, and data evaluation program
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10607386B2 (en) 2016-06-12 2020-03-31 Apple Inc. Customized avatars and associated framework
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10348662B2 (en) 2016-07-19 2019-07-09 Snap Inc. Generating customized electronic messaging graphics
US20180089880A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Transmission of avatar data
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US11616745B2 (en) * 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
CN111343075B (zh) 2017-04-27 2022-09-16 斯纳普公司 在基于地图的社交媒体平台上的位置隐私关联
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US10861210B2 (en) 2017-05-16 2020-12-08 Apple Inc. Techniques for providing audio and video effects
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
EP3644173A4 (en) * 2017-06-20 2020-07-01 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US10636193B1 (en) * 2017-06-29 2020-04-28 Facebook Technologies, Llc Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display
US10636192B1 (en) 2017-06-30 2020-04-28 Facebook Technologies, Llc Generating a graphical representation of a face of a user wearing a head mounted display
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US20190114037A1 (en) 2017-10-17 2019-04-18 Blend Systems, Inc. Systems and methods for distributing customized avatars responsive to events
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
KR102480767B1 (ko) 2017-11-29 2022-12-23 스냅 인코포레이티드 전자 메시징 애플리케이션에서의 그룹 스토리들
CN111386553A (zh) 2017-11-29 2020-07-07 斯纳普公司 用于电子消息传递应用的图形渲染
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
WO2019168834A1 (en) * 2018-02-28 2019-09-06 Apple Inc. Voice effects based on facial expressions
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
WO2019204464A1 (en) * 2018-04-18 2019-10-24 Snap Inc. Augmented expression system
KR102173146B1 (ko) * 2018-05-11 2020-11-02 이재윤 두상과 피부톤을 이용한 헤어라인 제공시스템
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
KR102530264B1 (ko) 2018-08-08 2023-05-09 삼성전자 주식회사 아바타에 대응하는 속성에 따른 아이템을 제공하는 방법 및 장치
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
KR102242779B1 (ko) * 2018-09-14 2021-04-20 엘지전자 주식회사 로봇 및 그 동작 방법
KR20200034039A (ko) * 2018-09-14 2020-03-31 엘지전자 주식회사 로봇 및 그 동작 방법
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
CN111460871B (zh) 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
CN109857311A (zh) * 2019-02-14 2019-06-07 北京达佳互联信息技术有限公司 生成人脸三维模型的方法、装置、终端及存储介质
KR20200101014A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 아바타 추천 및 다운로드를 지원하는 전자 장치
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11315298B2 (en) * 2019-03-25 2022-04-26 Disney Enterprises, Inc. Personalized stylized avatars
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US20220124140A1 (en) * 2019-04-01 2022-04-21 Sumitomo Electric Industries, Ltd. Communication assistance system, communication assistance method, and image control program
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11587276B2 (en) 2019-12-03 2023-02-21 Disney Enterprises, Inc. Data-driven extraction and composition of secondary dynamics in facial performance capture
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
WO2021155249A1 (en) 2020-01-30 2021-08-05 Snap Inc. System for generating media content items on demand
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11409368B2 (en) * 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) * 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11151767B1 (en) * 2020-07-02 2021-10-19 Disney Enterprises, Inc. Techniques for removing and synthesizing secondary dynamics in facial performance capture
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
CN112188140A (zh) * 2020-09-29 2021-01-05 深圳康佳电子科技有限公司 一种人脸跟踪视频聊天方法、系统及存储介质
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11582424B1 (en) * 2020-11-10 2023-02-14 Know Systems Corp. System and method for an interactive digitally rendered avatar of a subject person
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
GB2606344A (en) * 2021-04-28 2022-11-09 Sony Interactive Entertainment Europe Ltd Computer-implemented method and system for generating visual adjustment in a computer-implemented interactive entertainment environment
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
WO2022249461A1 (ja) * 2021-05-28 2022-12-01 株式会社I’mbesideyou 動画像分析システム
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
WO2023062793A1 (ja) * 2021-10-14 2023-04-20 株式会社I’mbesideyou 動画像分析システム
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
GB2617836A (en) * 2022-04-19 2023-10-25 Sony Interactive Entertainment Inc Image processing apparatus and method
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0220748D0 (en) * 2002-09-06 2002-10-16 Saw You Com Ltd Improved communication using avatars
JP2006520053A (ja) * 2003-03-03 2006-08-31 アメリカ オンライン インコーポレイテッド 通信するためにアバターを使用する方法
US7908554B1 (en) * 2003-03-03 2011-03-15 Aol Inc. Modifying avatar behavior based on user action or mood
CN1757057A (zh) * 2003-03-03 2006-04-05 美国在线服务公司 使用图形表达进行通信
US20050223328A1 (en) * 2004-01-30 2005-10-06 Ashish Ashtekar Method and apparatus for providing dynamic moods for avatars
JP2005293335A (ja) * 2004-04-01 2005-10-20 Hitachi Ltd 携帯端末装置
US7468729B1 (en) * 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
JP4986279B2 (ja) * 2006-09-08 2012-07-25 任天堂株式会社 ゲームプログラムおよびゲーム装置
JP4783264B2 (ja) * 2006-11-01 2011-09-28 ソフトバンクモバイル株式会社 電子メール作成方法及び通信端末装置
US9569876B2 (en) * 2006-12-21 2017-02-14 Brian Mark Shuster Animation control method for multiple participants
JP5319311B2 (ja) * 2009-01-21 2013-10-16 任天堂株式会社 表示制御プログラムおよび表示制御装置
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
JP2012190112A (ja) * 2011-03-09 2012-10-04 Nec Casio Mobile Communications Ltd 電子データ作成装置、電子データ作成方法、及び電子データ作成プログラム
US9013489B2 (en) * 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US9357174B2 (en) * 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
US9785883B2 (en) * 2012-04-27 2017-10-10 Excalibur Ip, Llc Avatars for use with personalized generalized content recommendations
US9199122B2 (en) * 2012-10-09 2015-12-01 Kc Holdings I Personalized avatar responsive to user physical state and context
CN103093490B (zh) * 2013-02-02 2015-08-26 浙江大学 基于单个视频摄像机的实时人脸动画方法
US9285951B2 (en) * 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
JP6111723B2 (ja) * 2013-02-18 2017-04-12 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US9886622B2 (en) * 2013-03-14 2018-02-06 Intel Corporation Adaptive facial expression calibration

Also Published As

Publication number Publication date
EP3238176B1 (en) 2023-11-01
US20160361653A1 (en) 2016-12-15
KR20170095817A (ko) 2017-08-23
JP2018505462A (ja) 2018-02-22
WO2016090605A1 (en) 2016-06-16
EP3238176A1 (en) 2017-11-01
CN107077750A (zh) 2017-08-18
EP3238176A4 (en) 2018-10-17
KR102374446B1 (ko) 2022-03-15

Similar Documents

Publication Publication Date Title
JP6662876B2 (ja) アバター選択機構
KR102586855B1 (ko) 제1 사용자 인터페이스 콘텐츠를 제2 사용자 인터페이스 내로 조합하기
US9489760B2 (en) Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
CN107924414B (zh) 促进在计算装置处进行多媒体整合和故事生成的个人辅助
JP6785305B2 (ja) 顔認識及びコンテキストビデオストリームで個人を識別するためのビデオ解析技術のための装置及び方法
KR102427412B1 (ko) 검색 질의에 기반하는 소스 이미지로부터의 얼굴과 타겟 이미지와의 조합
KR20230026481A (ko) 메시징 시스템에서의 아바타 의류 업데이트
US10191920B1 (en) Graphical image retrieval based on emotional state of a user of a computing device
US20170083519A1 (en) Platform and dynamic interface for procuring, organizing, and retrieving expressive media content
US11308327B2 (en) Providing travel-based augmented reality content with a captured image
US20160086088A1 (en) Facilitating dynamic affect-based adaptive representation and reasoning of user behavior on computing devices
KR20230025475A (ko) 메시징 시스템에서의 아바타 상태 업데이트
US20170083520A1 (en) Selectively procuring and organizing expressive media content
KR102577630B1 (ko) 메시징 애플리케이션에서의 증강 현실 콘텐츠의 디스플레이
KR20230016670A (ko) 제3자 콘텐츠로부터의 증강 현실 콘텐츠
US20220207875A1 (en) Machine learning-based selection of a representative video frame within a messaging application
KR20230072503A (ko) 메시징 시스템에서의 ar-기반 메이크업을 제공함
US20220101404A1 (en) Selecting color values for augmented reality-based makeup
KR20230013280A (ko) 클라이언트 애플리케이션 콘텐츠 분류 및 발견
KR20230028553A (ko) 여행과 연관된 증강 현실 기반 번역들
KR20230031323A (ko) 리뷰들을 위한 여행 기반 증강 현실 콘텐츠
KR20240010718A (ko) 메시징 시스템 내에서의 스캔 동작으로부터의 숏컷들
KR20220155601A (ko) 검출된 객체들에 대한 증강 현실 콘텐츠의 음성 기반 선택
US11430158B2 (en) Intelligent real-time multiple-user augmented reality content management and data analytics system
KR20230125292A (ko) 머신 러닝에 의한 대표 비디오 프레임 선택

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200213

R150 Certificate of patent or registration of utility model

Ref document number: 6662876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250