JP6240301B1 - 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 - Google Patents
仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 Download PDFInfo
- Publication number
- JP6240301B1 JP6240301B1 JP2016250994A JP2016250994A JP6240301B1 JP 6240301 B1 JP6240301 B1 JP 6240301B1 JP 2016250994 A JP2016250994 A JP 2016250994A JP 2016250994 A JP2016250994 A JP 2016250994A JP 6240301 B1 JP6240301 B1 JP 6240301B1
- Authority
- JP
- Japan
- Prior art keywords
- user
- tongue
- virtual space
- avatar object
- lower lip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000010365 information processing Effects 0.000 title claims 2
- 210000000056 organ Anatomy 0.000 claims description 29
- 210000005182 tip of the tongue Anatomy 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 42
- 230000033001 locomotion Effects 0.000 description 75
- 210000000214 mouth Anatomy 0.000 description 69
- 238000001514 detection method Methods 0.000 description 64
- 230000000007 visual effect Effects 0.000 description 49
- 210000001508 eye Anatomy 0.000 description 35
- 230000008569 process Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 230000008859 change Effects 0.000 description 9
- 230000008921 facial expression Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 8
- 210000003128 head Anatomy 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
Description
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、HMDシステム100の構成の概略を表す。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、ある局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
図5を参照して、ユーザの視線の決定について説明する。図5は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表す。
図6および図7を参照して、視認領域23について説明する。図6は、仮想空間2において視認領域23をX方向から見たYZ断面を表す。図7は、仮想空間2において視認領域23をY方向から見たXZ断面を表す。
図8を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図8は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図9を参照して、本実施の形態に従うアバターオブジェクトについて説明する。図9は、HMDセット105A,105Bの各ユーザのアバターオブジェクトを説明する図である。以下、HMDセット105Aのユーザをユーザ190A、HMDセット105Bのユーザをユーザ190B、HMDセット105Cのユーザをユーザ190C、HMDセット105Dのユーザをユーザ190Dと表す。また、HMDセット105Aに関する各構成要素の参照符号にAが付され、HMDセット105Bに関する各構成要素の参照符号にBが付され、HMDセット105Cに関する各構成要素の参照符号にCが付され、HMDセット105Dに関する各構成要素の参照符号にDが付される。例えば、HMD110Aは、HMDセット105Aに含まれる。
以下、図10〜図12を参照してユーザの顔の動作(形状)を検出するための具体例について説明する。図10〜図12では、一例として、ユーザの口の動作を検出する具体例について説明する。なお、図10〜図12で説明される検出方法は、ユーザの口の動作に限られず、ユーザの顔を構成する他の器官(例えば、目、眉)の動作の検出にも適用され得る。
図14は、サーバ150のハードウェア構成およびモジュール構成の一例を示す。ある実施の形態において、サーバ150は、主たる構成要素として通信インターフェイス1410と、プロセッサ1420と、ストレージ1430とを備える。
図15を参照して、仮想空間におけるアバターオブジェクトの動作の制御方法について説明する。図15は、ユーザの動作をアバターオブジェクトに反映するための、コンピュータ200とサーバ150との信号のやりとりを表わすフローチャートである。図15に示される処理は、コンピュータ200のプロセッサ10がメモリ11またはストレージ12に格納される制御プログラムを実行し、サーバ150のプロセッサ1420がストレージ1430に格納される制御プログラムを実行することにより実現され得る。
以下、仮想空間におけるユーザ同士のより円滑なコミュニケーションを実現する技術について説明する。より具体的には、現実空間でユーザ190が舌を出したことを検知して、その動作を仮想空間に配置されるアバターオブジェクト900に反映する技術について説明する。
図17は、プロセッサ10が舌を検出する処理を示すフローチャートである。図17に示される処理は、プロセッサ10がストレージ12に格納される制御プログラムを実行することにより実現され得る。
図18は、図17のステップS1740の処理例を示す。状態(A)は、ユーザの舌がユーザの口から少し出ている状態を示す。状態(B)は、ユーザの舌がユーザの口から大きく出ている状態を示す。
図19は、図17のステップS1750の処理例を示すフローチャートである。
上記の実施の形態では、ユーザの舌が出ているか否かを判断する構成であった。以下に説明するHMDシステムは、ユーザの舌が口から出ている量を検出して、仮想空間においてアバターオブジェクトが舌を出す量を調節する。
以上に開示された技術的特徴は、以下のように要約され得る。
(構成7) (構成1)〜(構成6)のいずれかにおいて、アバターオブジェクト900の舌をアバターオブジェクト900の口から出ている状態にするステップは、メモリモジュール240に格納された下唇テンプレート2454と画像との類似度が所定値未満になった場合に、下唇の少なくとも一部が隠れたと判断することを含む。
Claims (14)
- 仮想空間を介して通信するためにコンピュータで実行される方法であって、
仮想空間を定義するステップと、
前記仮想空間を介して通信するユーザのアバターオブジェクトを前記仮想空間に配置するステップと、
前記ユーザの口を含む画像の入力を繰り返し受け付けるステップと、
前記画像から前記ユーザの下唇を検出するステップと、
前記検出された下唇の少なくとも一部が隠れた場合に、前記アバターオブジェクトの舌を前記アバターオブジェクトの口から出ている状態にするステップとを備える、方法。 - 前記アバターオブジェクトの舌を前記アバターオブジェクトの口から出ている状態にするステップは、
前記下唇の少なくとも一部が隠れたと判断された場合に、前記下唇を隠している物体が舌か否かを判断することと、
前記物体が舌であると判断された場合に、前記アバターオブジェクトの舌を前記アバターオブジェクトの口から出ている状態にすることとを含む、請求項1に記載の方法。 - 前記物体が舌か否かを判断することは、メモリに格納される舌テンプレートと前記物体との類似度がしきい値以上である場合に、前記物体が舌であると判断することを含む、請求項2に記載の方法。
- 前記アバターオブジェクトの舌を前記アバターオブジェクトの口から出ている状態にするステップは、前記物体が舌であると判断された場合に、前記舌の面積が大きいほど前記アバターオブジェクトが舌を出す量を多くすることを含む、請求項2または3に記載の方法。
- 前記アバターオブジェクトの舌を前記アバターオブジェクトの口から出ている状態にするステップは、前記物体が舌であると判断された場合に、前記ユーザの顔を構成する基準器官と、前記舌の先端との距離に基づいて、前記アバターオブジェクトが舌を出す量を調節することを含む、請求項2または3に記載の方法。
- 前記基準器官は、前記ユーザの上唇を含む、請求項5に記載の方法。
- 前記アバターオブジェクトの舌を前記アバターオブジェクトの口から出ている状態にするステップは、メモリに格納された下唇テンプレートと前記画像との類似度が所定値未満になった場合に、下唇の少なくとも一部が隠れたと判断することを含む、請求項1〜6のいずれか1項に記載の方法。
- 前記下唇を検出するステップは、前記下唇の輪郭点を検出することを含み、
前記アバターオブジェクトの舌を前記アバターオブジェクトの口から出ている状態にするステップは、前記下唇の輪郭点の数がしきい値未満になった場合に前記下唇の少なくとも一部が隠れたと判断することを含む、請求項1〜6のいずれか1項に記載の方法。 - 前記アバターオブジェクトの舌を前記アバターオブジェクトの口から出ている状態にするステップは、
前記検出された下唇の面積を算出することと、
前記算出された下唇の面積がしきい値未満である場合に前記下唇の少なくとも一部が隠れたと判断することとを含む、請求項1〜6のいずれか1項に記載の方法。 - 前記ユーザの下唇を検出することは、前記画像と、メモリに格納された下唇テンプレートとをパターンマッチングすることを含む、請求項1〜9のいずれか1項に記載の方法。
- 仮想空間を介して通信するためにコンピュータで実行される方法であって、
仮想空間を定義するステップと、
前記仮想空間を介して通信する他のユーザのアバターオブジェクトを前記仮想空間に配置するステップと、
前記コンピュータのユーザの口を含む画像の入力を繰り返し受け付けるステップと、
前記画像から前記ユーザの下唇を検出するステップと、
前記検出された下唇の少なくとも一部が隠れた場合に、前記下唇の少なくとも一部が隠れたことを示す情報を前記他のユーザのコンピュータに送信するステップとを備える、方法。 - 前記ユーザの口を含む画像の入力を繰り返し受け付けるステップは、前記ユーザが装着するヘッドマウントデバイスに設けられたカメラから前記ユーザの口を含む画像の入力を繰り返し受け付けるステップを含む、請求項11に記載の方法。
- 請求項1〜12のいずれか1項に記載の方法をコンピュータに実現させるためのプログラム。
- 請求項13に記載のプログラムを格納したメモリと、
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016250994A JP6240301B1 (ja) | 2016-12-26 | 2016-12-26 | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
US15/853,928 US20180189549A1 (en) | 2016-12-26 | 2017-12-25 | Method for communication via virtual space, program for executing the method on computer, and information processing apparatus for executing the program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016250994A JP6240301B1 (ja) | 2016-12-26 | 2016-12-26 | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017211464A Division JP2018106691A (ja) | 2017-11-01 | 2017-11-01 | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6240301B1 true JP6240301B1 (ja) | 2017-11-29 |
JP2018106365A JP2018106365A (ja) | 2018-07-05 |
Family
ID=60477048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016250994A Active JP6240301B1 (ja) | 2016-12-26 | 2016-12-26 | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180189549A1 (ja) |
JP (1) | JP6240301B1 (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10270983B1 (en) | 2018-05-07 | 2019-04-23 | Apple Inc. | Creative camera |
CN109689255A (zh) * | 2016-10-18 | 2019-04-26 | 大冶美有限公司 | 烧结含油轴承及其制造方法 |
US10325416B1 (en) | 2018-05-07 | 2019-06-18 | Apple Inc. | Avatar creation user interface |
US10362219B2 (en) | 2016-09-23 | 2019-07-23 | Apple Inc. | Avatar creation and editing |
CN110046020A (zh) * | 2018-05-07 | 2019-07-23 | 苹果公司 | 头像创建用户界面 |
US10379719B2 (en) | 2017-05-16 | 2019-08-13 | Apple Inc. | Emoji recording and sending |
US10444963B2 (en) | 2016-09-23 | 2019-10-15 | Apple Inc. | Image data for enhanced user interactions |
EP3567457A1 (en) * | 2018-05-07 | 2019-11-13 | Apple Inc. | Avatar creation user interface |
US10521948B2 (en) | 2017-05-16 | 2019-12-31 | Apple Inc. | Emoji recording and sending |
US10659405B1 (en) | 2019-05-06 | 2020-05-19 | Apple Inc. | Avatar integration with multiple applications |
US11061372B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | User interfaces related to time |
KR20210096311A (ko) * | 2018-05-07 | 2021-08-04 | 애플 인크. | 아바타 생성 사용자 인터페이스 |
US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
US11103161B2 (en) | 2018-05-07 | 2021-08-31 | Apple Inc. | Displaying user interfaces associated with physical activities |
US11481988B2 (en) | 2010-04-07 | 2022-10-25 | Apple Inc. | Avatar editing environment |
US11714536B2 (en) | 2021-05-21 | 2023-08-01 | Apple Inc. | Avatar sticker editor user interfaces |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2019100497B4 (en) * | 2018-05-07 | 2019-08-08 | Apple Inc. | Avatar creation user interface |
US10650563B2 (en) * | 2018-07-26 | 2020-05-12 | BinaryVR, Inc. | Tongue position tracking for facial animation |
CN109978975A (zh) * | 2019-03-12 | 2019-07-05 | 深圳市商汤科技有限公司 | 一种动作的迁移方法及装置、计算机设备 |
AU2021290132C1 (en) | 2020-06-08 | 2024-04-18 | Apple Inc. | Presenting avatars in three-dimensional environments |
US11620797B2 (en) | 2021-08-05 | 2023-04-04 | Bank Of America Corporation | Electronic user interface with augmented detail display for resource location |
US11423697B1 (en) | 2021-08-12 | 2022-08-23 | Sdc U.S. Smilepay Spv | Machine learning architecture for imaging protocol detector |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004110813A (ja) * | 2002-08-30 | 2004-04-08 | Victor Co Of Japan Ltd | 人物認証装置 |
JP2005148959A (ja) * | 2003-11-12 | 2005-06-09 | Kagoshima Tlo Co Ltd | 意思疎通支援装置 |
JP2007323126A (ja) * | 2006-05-30 | 2007-12-13 | Kyocera Corp | 入力装置及び入力操作方法 |
JP2009536406A (ja) * | 2006-05-07 | 2009-10-08 | 株式会社ソニー・コンピュータエンタテインメント | ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050255430A1 (en) * | 2004-04-29 | 2005-11-17 | Robert Kalinowski | Speech instruction method and apparatus |
US20080225048A1 (en) * | 2007-03-15 | 2008-09-18 | Microsoft Corporation | Culling occlusions when rendering graphics on computers |
JP4900401B2 (ja) * | 2008-05-16 | 2012-03-21 | カシオ計算機株式会社 | 撮影装置およびプログラム |
US9791919B2 (en) * | 2014-10-19 | 2017-10-17 | Philip Lyren | Electronic device displays an image of an obstructed target |
US10025972B2 (en) * | 2015-11-16 | 2018-07-17 | Facebook, Inc. | Systems and methods for dynamically generating emojis based on image analysis of facial features |
US10198819B2 (en) * | 2015-11-30 | 2019-02-05 | Snap Inc. | Image segmentation and modification of a video stream |
US10242447B2 (en) * | 2016-09-08 | 2019-03-26 | Sony Corporation | Video processing system and method for deformation and occlusion resistant object tracking in video content |
-
2016
- 2016-12-26 JP JP2016250994A patent/JP6240301B1/ja active Active
-
2017
- 2017-12-25 US US15/853,928 patent/US20180189549A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004110813A (ja) * | 2002-08-30 | 2004-04-08 | Victor Co Of Japan Ltd | 人物認証装置 |
JP2005148959A (ja) * | 2003-11-12 | 2005-06-09 | Kagoshima Tlo Co Ltd | 意思疎通支援装置 |
JP2009536406A (ja) * | 2006-05-07 | 2009-10-08 | 株式会社ソニー・コンピュータエンタテインメント | ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法 |
JP2007323126A (ja) * | 2006-05-30 | 2007-12-13 | Kyocera Corp | 入力装置及び入力操作方法 |
Non-Patent Citations (1)
Title |
---|
坪井 栄和: "照明変動に頑健な口領域追跡手法", 情報処理学会研究報告 VOL.2008 NO.3, vol. 2008-CVIM-161, JPN6017027891, 17 January 2008 (2008-01-17), JP, pages 95 - 100 * |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11869165B2 (en) | 2010-04-07 | 2024-01-09 | Apple Inc. | Avatar editing environment |
US11481988B2 (en) | 2010-04-07 | 2022-10-25 | Apple Inc. | Avatar editing environment |
US10362219B2 (en) | 2016-09-23 | 2019-07-23 | Apple Inc. | Avatar creation and editing |
US10444963B2 (en) | 2016-09-23 | 2019-10-15 | Apple Inc. | Image data for enhanced user interactions |
CN109689255B (zh) * | 2016-10-18 | 2021-06-25 | 大冶美有限公司 | 烧结含油轴承及其制造方法 |
CN109689255A (zh) * | 2016-10-18 | 2019-04-26 | 大冶美有限公司 | 烧结含油轴承及其制造方法 |
US11532112B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Emoji recording and sending |
US10521948B2 (en) | 2017-05-16 | 2019-12-31 | Apple Inc. | Emoji recording and sending |
US10379719B2 (en) | 2017-05-16 | 2019-08-13 | Apple Inc. | Emoji recording and sending |
US10997768B2 (en) | 2017-05-16 | 2021-05-04 | Apple Inc. | Emoji recording and sending |
US10845968B2 (en) | 2017-05-16 | 2020-11-24 | Apple Inc. | Emoji recording and sending |
US10521091B2 (en) | 2017-05-16 | 2019-12-31 | Apple Inc. | Emoji recording and sending |
US10846905B2 (en) | 2017-05-16 | 2020-11-24 | Apple Inc. | Emoji recording and sending |
EP3567457A1 (en) * | 2018-05-07 | 2019-11-13 | Apple Inc. | Avatar creation user interface |
US11103161B2 (en) | 2018-05-07 | 2021-08-31 | Apple Inc. | Displaying user interfaces associated with physical activities |
US10325416B1 (en) | 2018-05-07 | 2019-06-18 | Apple Inc. | Avatar creation user interface |
US10523879B2 (en) | 2018-05-07 | 2019-12-31 | Apple Inc. | Creative camera |
US10270983B1 (en) | 2018-05-07 | 2019-04-23 | Apple Inc. | Creative camera |
KR20200135538A (ko) * | 2018-05-07 | 2020-12-02 | 애플 인크. | 아바타 생성 사용자 인터페이스 |
US10861248B2 (en) | 2018-05-07 | 2020-12-08 | Apple Inc. | Avatar creation user interface |
US10410434B1 (en) | 2018-05-07 | 2019-09-10 | Apple Inc. | Avatar creation user interface |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
KR102283613B1 (ko) | 2018-05-07 | 2021-08-02 | 애플 인크. | 아바타 생성 사용자 인터페이스 |
KR20210096311A (ko) * | 2018-05-07 | 2021-08-04 | 애플 인크. | 아바타 생성 사용자 인터페이스 |
US11682182B2 (en) | 2018-05-07 | 2023-06-20 | Apple Inc. | Avatar creation user interface |
US10580221B2 (en) | 2018-05-07 | 2020-03-03 | Apple Inc. | Avatar creation user interface |
US11178335B2 (en) | 2018-05-07 | 2021-11-16 | Apple Inc. | Creative camera |
KR102378806B1 (ko) | 2018-05-07 | 2022-03-28 | 애플 인크. | 아바타 생성 사용자 인터페이스 |
US11380077B2 (en) | 2018-05-07 | 2022-07-05 | Apple Inc. | Avatar creation user interface |
US10325417B1 (en) | 2018-05-07 | 2019-06-18 | Apple Inc. | Avatar creation user interface |
CN110046020A (zh) * | 2018-05-07 | 2019-07-23 | 苹果公司 | 头像创建用户界面 |
US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
US10659405B1 (en) | 2019-05-06 | 2020-05-19 | Apple Inc. | Avatar integration with multiple applications |
US11442414B2 (en) | 2020-05-11 | 2022-09-13 | Apple Inc. | User interfaces related to time |
US11061372B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | User interfaces related to time |
US11822778B2 (en) | 2020-05-11 | 2023-11-21 | Apple Inc. | User interfaces related to time |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
US11714536B2 (en) | 2021-05-21 | 2023-08-01 | Apple Inc. | Avatar sticker editor user interfaces |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
Also Published As
Publication number | Publication date |
---|---|
JP2018106365A (ja) | 2018-07-05 |
US20180189549A1 (en) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6240301B1 (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6266736B1 (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6298561B1 (ja) | ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法 | |
US10313481B2 (en) | Information processing method and system for executing the information method | |
US20180330536A1 (en) | Method of providing virtual space, program for executing the method on computer, and information processing apparatus for executing the program | |
JP6234622B1 (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
US10546407B2 (en) | Information processing method and system for executing the information processing method | |
US20190018479A1 (en) | Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space | |
US10459599B2 (en) | Method for moving in virtual space and information processing apparatus for executing the method | |
JP6298563B1 (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
JP6342024B1 (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6242473B1 (ja) | 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6240353B1 (ja) | 仮想空間において情報を提供するための方法、そのためのプログラム、および、そのための装置 | |
JP6947661B2 (ja) | ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法 | |
JP6257825B1 (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP2018116684A (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP2018125003A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP2019168962A (ja) | プログラム、情報処理装置、及び情報処理方法 | |
JP2019012509A (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
US11882172B2 (en) | Non-transitory computer-readable medium, information processing method and information processing apparatus | |
JP2018097879A (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6392953B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018106691A (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP2018156675A (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP7438786B2 (ja) | プログラム、情報処理方法、及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6240301 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |